RedLab разработала ИТ-инфраструктуру для продуктового ритейлера
О клиенте
Розничная торговая компания управляет сетью магазинов, предлагая широкий ассортимент продуктов питания и товаров повседневного спроса. Организация активно развивает цифровые сервисы для покупателей, внедряет ИТ-решения в свои бизнес-процессы и использует инновационные технологии, например: ИИ, компьютерное зрение, Bluetooth-маячки, IoT (интернет вещей), аудиобейджи и роботизированные дарксторы.
О проекте
Клиент постоянно модернизирует внутренние системы и приложения. Поэтому пришел в RedLab с запросом на создание отказоустойчивой инфраструктуры для обработки больших объемов данных (10+ ТБ ежедневно) в реальном времени и пакетном режиме. Также требовалось обеспечить автоматизацию ETL-процессов, централизованный мониторинг и гибкое масштабирование в условиях переменной нагрузки.
Описание задачи
DevOps-инженерам RedLab предстояло создать надежную, автоматизированную и гибкую систему. Были определены следующие задачи:
-
Спроектировать и развернуть облачную ИТ-инфраструктуру на базе Kubernetes.
-
Организовать изолированные среды для аналитических команд.
-
Обеспечить интеграцию с хранилищами данных, безопасное управление секретами и высокую наблюдаемость процессов.
Реализация
ИТ-специалисты провели следующие работы:
-
Составили четкую структуру системы и продумали, какие компоненты повысят устойчивость ИТ-продукта и обеспечат стабильные результаты компании.
-
Развернули высокодоступный кластер Kubernetes с autoscaling и поддержкой large-memory нод. Удалось обеспечить бесперебойную работу критичных сервисов и легко адаптировать ресурсы под изменяющуюся нагрузку.
-
Реализовали пайплайны данных через Apache Airflow с KubernetesExecutor для динамического запуска DAG’ов в изолированных контейнерах, что привело к быстрому и безопасному анализу сведений.
-
Установили и настроили Apache Spark для распределенной обработки данных (batch и streaming). В итоге производительность аналитики повысилась.
-
Автоматизировали CI/CD пайплайн для Airflow DAG’ов и Spark job’ов. Это минимизировало ручной труд, ускорило вывод новых функций и снизило количество ошибок при деплое.
-
Встроили логирование (Loki Stack) и мониторинг (Prometheus + Grafana). Нововведение дает полную картину работы ПО и помогает оперативно реагировать на инциденты.
-
Настроили разграничение доступа и управление секретами через Vault и RBAC, тем самым обеспечили надежную защиту информации и гибкое управление правами пользователей.
-
Сформировали техническую документацию по взаимодействию с построенной инфраструктурой для инхаус-сотрудников.
Результат
Команда RedLab смогла разработать отказоустойчивую ИТ-инфраструктуру, компоненты которой легко масштабируется под нагрузку без увеличения постоянных затрат. Новая система позволила повысить управляемость бизнес-процессов и увеличить прозрачность данных для аналитиков и инженеров. Время обработки информации увеличилось в 6 раз — с 6 часов до 1 часа. Вывод новых ETL-пайплайнов сократился с нескольких дней до нескольких часов.
Лучшее в блогах
Вам понравится
М.Видео анонсирует запуск праздничного стрима с телеведущей и амбассадором бренда Ляйсан Утяшевой. Прямой эфир состоится 11 ноября в 11:00 в официальном сообществе М.Видео|Эльдорадо ВКонтакте в рамках Черной Пятницы и станет центральным событием рекламной кампании, приуроченной к одной из главных распродаж года.
Для крупного девелопера визуализация планировок — не просто иллюстрация на сайте, а точка принятия решения клиентом. Каждый рендер — это аргумент в пользу покупки, а его отсутствие — прямые потери в конверсии и выручке. В этом кейсе расскажем, как вместе с командой ПИК мы автоматизировали создание рендеров, в то же время сократив расходы на дизайн на 60%.
Руководитель ChatLabs Владислав Деханд рассказывает, как запустить Mini App для продаж в мягких нишах: психология, фитнес, онлайн-образование и репетиторство, здоровое питание, коучинг, дистанционные курсы, личностное развитие, бьюти-сфера.
Неделя рекламы
Энциклопедия обмана