|
Lamoda и GlowByte внедряют решение Data Ocean Nova вендора Data Sapience. Внедрение в инфраструктуру площадки онлайн-моды Lamoda универсальной Lakehouse-платформы данных позволит создать высокопроизводительную среду подготовки данных и изолированные песочницы для задач дата-аналитики. Интегратором в проекте выступает GlowByte.
До начала проекта команды Data Science в Lamoda сталкивались с ограничениями инфраструктуры в рамках имеющегося кластера Hadoop. Ключевыми задачами на старте стали перенос главной витрины по продажам для целей отчетности из DWH в Lakehouse-платформу данных Data Ocean Nova и создание первых песочниц данных для команд. Контур MVP предполагал, что платформа данных будет развернута в публичном облаке и интегрирована с корпоративными сервисами Lamoda: доменом аутентификации, службами централизованного мониторинга, GitOps-инфраструктурой и CI-/CD-пайплайнами. Для решения этих задач подошла Lakehouse-архитектура, а в качестве целевого продукта была выбрана Data Ocean Nova.
Data Ocean Nova — универсальная Lakehouse-платформа данных нового поколения, представленная вендором Data Sapience. Продукт решает комплексные задачи массивно-параллельной обработки данных. В том числе позволяет создавать и масштабировать оперативные слои данных в реальном времени, бесшовно работать с CRM— и ML-платформами, предоставлять федеративный доступ к базам данных и выступает в качестве виртуального хранилища. Поддерживает on-premise инсталляцию, частное облако и гибридный сценарий использования, а также Multi-tenant развертывание для создания изолированных сред на базе общей инфраструктуры.
В составе технологического стека платформы, решающего задачи Lamoda, — несколько решений. Распределенная система обработки больших данных Apache Spark позволяет командам работать с терабайтами данных о товарах, пользователях и транзакциях прямо в песочницах, выполняя сложные трансформации и агрегации для подготовки обучающих датасетов. SQL-движок Trino обеспечивает быстрый интерактивный доступ к данным из различных источников (хранилища, базы данных, файловые системы) через единый SQL-интерфейс, позволяя аналитикам исследовать данные без перемещения между средами.
Lakehouse-платформа Data Ocean Nova, объединяя возможности Apache Spark и Trino для задач fashion-индустрии, предлагает единое место для хранения данных с гибкими возможностями организации рабочих пространств. ML-команды взаимодействуют с консолидированной информацией о клиентах, товарах и операциях через мощные аналитические движки. Благодаря работе команды GlowByte и функционалу решения Data Ocean Nova вендора Data Sapience Lamoda получает возможность оперативно масштабировать вычислительные мощности под пиковые нагрузки и одновременно обеспечивать быстрый доступ к данным для экспериментов.
Платформа Data Ocean Nova позволит ускорить процессы работы с данными внутри компании Lamoda, а также обеспечит команды разработчиков необходимым инструментарием для создания новых перспективных продуктов и сервисов на базе ИИ-агентов и AutoML-процессов.
Как система класса ITAM помогает навести порядок в ИТ-активах
Цифровизация
«Команда Lamoda исторически имела богатый опыт работы со Spark в рамках широкого класса задач и выбор обновленной платформы позволил сфокусироваться на решении data-задач и не тратить время на разработку собственной платформы. Результаты MVP показали, что обновленные подходы при реализации архитектуры в облаке могут конкурировать с on-premise решениями. Мы видим потенциал работы с платформой и определенные точки роста, которые также хотели бы видеть в следующих релизах продукта, работая в тесном сотрудничестве с Data Sapience и GlowByte», — сказал Дмитрий Криволапов, CDO Lamoda.
«Совместно с Lamoda мы создаем современную и высокопроизводительную основу для работы с данными. Универсальная Lakehouse-платформа Data Ocean Nova вендора Data Sapience закладывает фундамент для будущего развития data-driven продуктов компании. Это позволит специалистам Lamoda сосредоточиться на создании ML-моделей и инновационных сервисах, а не на решении инфраструктурных проблем», — отметил Данил Побирский, менеджер проектов, GlowByte
«Lakehouse-платформа Data Ocean Nova была выбрана Lamoda в качестве фундамента для построения современной data-архитектуры, и мы видим в этом подтверждение зрелости нашего продукта. Решение предлагает fashion—ритейлеру универсальный инструмент для монетизации данных на всех этапах: от оперативной аналитики до развертывания ML-сервисов. Проект Lamoda, GlowByte и Data Sapience — наглядный пример того, как российская технология позволяет ведущим компаниям рынка не просто замещать иностранные аналоги, а совершать качественный скачок в эффективности посредством внедрения отечественного решения», — сказал Евгений Вилков, технический руководитель Data Ocean Nova, Data Sapience.
