Компании Backblaze и WEKA официально представили результаты совместной валидации своих платформ, направленной на оптимизацию работы инфраструктуры для задач искусственного интеллекта. Решение объединяет WEKA NeuralMesh в качестве высокопроизводительного уровня, обеспечивающего работу GPU, и облачное хранилище Backblaze B2 в роли емкого уровня для долгосрочного хранения данных. Интеграция, процессы настройки и тестирования уже завершены, что позволяет специалистам по ИИ внедрять готовую двухъярусную архитектуру без необходимости самостоятельной квалификации компонентов.
Особенности двухъярусного конвейера данных
В рамках предложенного подхода жизненный цикл данных организован вокруг динамического распределения ресурсов. Исходные неструктурированные материалы, включая наборы данных для обучения, медиабиблиотеки и исходные файлы, размещаются в облаке B2. В момент запуска задач, требующих высокой производительности, данные передаются в систему NeuralMesh для последующей обработки ускорителями.
После завершения процесса или при снижении потребности в высокоскоростном доступе результаты работы, такие как чекпоинты и выходные файлы, перемещаются обратно в Backblaze B2. Такая стратегия позволяет хранить данные на уровне емкости, обеспечивая возможность их повторного использования или восстановления предыдущих состояний системы при необходимости. Глеб Будман, генеральный директор Backblaze, отметил, что данное сотрудничество объединяет почти двадцатилетний опыт компании в области емкого хранения с производительностью платформы WEKA.
Функциональность Snap-to-Object для защиты данных
Важным компонентом интеграции стало тестирование технологии Snap-to-Object, разработанной WEKA. Данный инструмент позволяет записывать согласованные снимки файловой системы NeuralMesh непосредственно в объектное хранилище. При использовании Backblaze B2 в качестве целевого объекта снимки оказываются в том же емком слое, где хранятся исходные данные и архивные чекпоинты.
Для команд, занимающихся обучением моделей, это означает возможность оперативного возврата к контрольным точкам или восстановления данных для вывода без необходимости создания вспомогательных решений или поддержки дополнительных площадок для хранения снимков. Нилеш Пател, директор по стратегии WEKA, подчеркнул, что рабочие нагрузки ИИ требуют одновременного обеспечения микросекундного доступа к данным для GPU и масштабирования хранилища до эксабайтных объемов. Сотрудничество с Backblaze предоставляет клиентам проверенный путь к реализации этой модели без лишних затрат на проектирование и квалификацию системы.
Технические нюансы и экономическая целесообразность
Партнерство компаний не ограничивается простой архитектурой: на текущий момент процесс сертификации B2 для работы с NeuralMesh уже находится в финальной стадии. Обе компании подчеркивают, что клиентам не обязательно ждать формального завершения всех бюрократических процедур — они могут связаться с представителями любого из вендоров прямо сейчас, чтобы начать развертывание инфраструктуры.
Ключевым преимуществом данной интеграции эксперты называют «скорость там, где находятся графические процессоры, и емкость везде, где это необходимо». Данные автоматически мигрируют между уровнями в зависимости от паттернов доступа, что избавляет инженеров от ручного управления перемещением файлов.
Экономический эффект использования такой связки заключается в создании полноценного облачного объектного яруса, который располагается «позади» NeuralMesh. Поскольку B2 тарифицируется как хранилище большой емкости, хранение снимков (snapshots) вместе с исходными данными обходится значительно дешевле, чем поддержание выделенных высокопроизводительных массивов для резервных копий.
Стоит отметить, что для Backblaze интеграция с WEKA является логичным продолжением их стратегии по продвижению B2 как фундаментального уровня емкости для ИИ-стека. Ранее в текущем году компания уже активно развивала это направление через инициативы вроде B2 Neo для платформ neocloud и запуск программы бенчмаркинга производительности, а появление WEKA в качестве партнера на стороне GPU-вычислений закрывает критическую потребность в высокоскоростном доступе к данным.
