RedLab разработала ИТ-инфраструктуру для продуктового ритейлера
О клиенте
Розничная торговая компания управляет сетью магазинов, предлагая широкий ассортимент продуктов питания и товаров повседневного спроса. Организация активно развивает цифровые сервисы для покупателей, внедряет ИТ-решения в свои бизнес-процессы и использует инновационные технологии, например: ИИ, компьютерное зрение, Bluetooth-маячки, IoT (интернет вещей), аудиобейджи и роботизированные дарксторы.
О проекте
Клиент постоянно модернизирует внутренние системы и приложения. Поэтому пришел в RedLab с запросом на создание отказоустойчивой инфраструктуры для обработки больших объемов данных (10+ ТБ ежедневно) в реальном времени и пакетном режиме. Также требовалось обеспечить автоматизацию ETL-процессов, централизованный мониторинг и гибкое масштабирование в условиях переменной нагрузки.
Описание задачи
DevOps-инженерам RedLab предстояло создать надежную, автоматизированную и гибкую систему. Были определены следующие задачи:
-
Спроектировать и развернуть облачную ИТ-инфраструктуру на базе Kubernetes.
-
Организовать изолированные среды для аналитических команд.
-
Обеспечить интеграцию с хранилищами данных, безопасное управление секретами и высокую наблюдаемость процессов.
Реализация
ИТ-специалисты провели следующие работы:
-
Составили четкую структуру системы и продумали, какие компоненты повысят устойчивость ИТ-продукта и обеспечат стабильные результаты компании.
-
Развернули высокодоступный кластер Kubernetes с autoscaling и поддержкой large-memory нод. Удалось обеспечить бесперебойную работу критичных сервисов и легко адаптировать ресурсы под изменяющуюся нагрузку.
-
Реализовали пайплайны данных через Apache Airflow с KubernetesExecutor для динамического запуска DAG’ов в изолированных контейнерах, что привело к быстрому и безопасному анализу сведений.
-
Установили и настроили Apache Spark для распределенной обработки данных (batch и streaming). В итоге производительность аналитики повысилась.
-
Автоматизировали CI/CD пайплайн для Airflow DAG’ов и Spark job’ов. Это минимизировало ручной труд, ускорило вывод новых функций и снизило количество ошибок при деплое.
-
Встроили логирование (Loki Stack) и мониторинг (Prometheus + Grafana). Нововведение дает полную картину работы ПО и помогает оперативно реагировать на инциденты.
-
Настроили разграничение доступа и управление секретами через Vault и RBAC, тем самым обеспечили надежную защиту информации и гибкое управление правами пользователей.
-
Сформировали техническую документацию по взаимодействию с построенной инфраструктурой для инхаус-сотрудников.
Результат
Команда RedLab смогла разработать отказоустойчивую ИТ-инфраструктуру, компоненты которой легко масштабируется под нагрузку без увеличения постоянных затрат. Новая система позволила повысить управляемость бизнес-процессов и увеличить прозрачность данных для аналитиков и инженеров. Время обработки информации увеличилось в 6 раз — с 6 часов до 1 часа. Вывод новых ETL-пайплайнов сократился с нескольких дней до нескольких часов.
Лучшее в блогах
Вам понравится
Российская платформа Picvario DAM (Digital Asset Management) привлекла 30 млн рублей от венчурного фонда MalinaVC. Инвестиции будут направлены на масштабирование платформы, которая стала ключевым инструментом импортозамещения для крупного бизнеса.
Неделя рекламы
Энциклопедия обмана