Эволюция инфраструктуры в эпоху искусственного интеллекта
Проблема масштабирования ИИ
Корпоративная инфраструктура всегда адаптировалась по мере роста масштабов. Виртуализация решила проблему разрастания парка серверов, облачные вычисления снизили потребность в выделении физических ресурсов для каждого приложения, а автоматизация сделала управление все более сложными средами возможным. Однако искусственный интеллект создает принципиально иной тип проблемы масштабирования. Дискуссии об ИИ в корпоративном секторе в основном сосредоточены на моделях, GPU и производительности вывода, но эти технологии составляют лишь малую часть того, чем должны управлять организации.
Каждое внедрение ИИ в промышленную эксплуатацию создает непрерывный поток данных, которые необходимо принимать, защищать, перемещать, анализировать, хранить, контролировать и в конечном итоге архивировать. Эти действия предъявляют к инфраструктуре требования, сильно отличающиеся от нагрузок, для которых изначально проектировались системы хранения данных, отмечает директор по маркетингу продуктов Scality. Это становится все более очевидным по мере того, как организации переходят от пилотных проектов к реальной эксплуатации. ИИ больше не является единственной рабочей нагрузкой, работающей на изолированной инфраструктуре.
Одно приложение может включать высокоскоростное хранилище для обучения моделей, объектное хранилище для данных вывода, более доступные по цене емкости для операционных наборов данных, неизменяемое хранилище для обеспечения киберустойчивости и долгосрочные архивы для соблюдения нормативных требований. Традиционно эти функции выполнялись отдельными продуктами с отдельными инструментами управления, политиками безопасности и операционными командами. Такая архитектура работала достаточно хорошо, когда данные перемещались медленно, а жизненные циклы приложений были предсказуемыми. ИИ меняет обе эти предпосылки.
Новые вызовы для управления данными
Наборы данных для обучения постоянно расширяются. Новые модели внедряются гораздо чаще, чем традиционные корпоративные приложения. Нагрузки на систему вывода колеблются в зависимости от изменения спроса. Один и тот же набор данных может неоднократно перемещаться между активной обработкой, резервным копированием, комплаенсом и архивированием на протяжении своего жизненного цикла. Каждый такой переход создает дополнительную операционную задачу, возможность для возникновения несогласованности и еще одну точку, требующую вмешательства администраторов. Вскоре усилия, затрачиваемые на управление инфраструктурой, начинают соперничать с усилиями, необходимыми для создания самих ИИ-приложений.
Сложность как главный барьер
На протяжении многих лет ответом на операционную сложность была автоматизация. Администраторы автоматизировали подготовку ресурсов, создавали сценарии обслуживания и оркестровали повторяющиеся задачи. Эти возможности остаются ценными, но они были рассчитаны на выполнение заранее определенных действий в заранее определенных условиях. Среды ИИ значительно менее предсказуемы. Инфраструктура должна постоянно адаптироваться к изменяющимся рабочим нагрузкам, меняющимся требованиям к производительности, эволюционирующим политикам безопасности и быстро растущим объемам данных, зачастую не имея преимущества в виде стабильных паттернов работы.
Именно здесь автономная инфраструктура данных представляет собой нечто более существенное, чем очередная система автоматизации. Вместо того чтобы рассматривать хранилище как совокупность независимых систем, она исходит из предположения, что сама платформа должна постоянно оптимизировать управление данными на протяжении всего их жизненного цикла. Емкость, производительность, защита и стоимость становятся решениями на уровне политик, а не инфраструктурными проектами. Данные автоматически перемещаются между уровнями производительности в соответствии с бизнес-требованиями вместо того, чтобы экспортироваться, мигрировать и повторно импортироваться в отдельные платформы. Единое пространство имен охватывает рабочие нагрузки, которые исторически требовали использования нескольких систем хранения, позволяя инфраструктуре развиваться без необходимости постоянной переработки среды администраторами. Это архитектурное изменение в конечном итоге может оказаться важнее, чем сама автоматизация.
Многие организации недооценивают, насколько сильно накапливается операционная сложность просто от запуска нескольких платформ хранения. Каждая среда имеет свою собственную модель аутентификации, инструменты мониторинга, политики жизненного цикла, графики обновлений, процедуры восстановления и характеристики производительности. По мере распространения ИИ в масштабах предприятия эти уровни управления множатся вместе с данными. Сокращение количества операционных границ часто создает большую долгосрочную ценность, чем внедрение еще одного уровня оркестрации.
Тот же принцип применим к киберустойчивости. ИИ повысил ценность корпоративных данных далеко за пределы традиционных бизнес-записей. Наборы данных для обучения, чекпоинты моделей, векторные индексы и конвейеры вывода стали стратегическими активами сами по себе. Их защита требует большего, чем просто программное обеспечение для резервного копирования. Она требует инфраструктуры, которая предполагает возможность сбоев и атак и разработана таким образом, чтобы восстанавливаться без необходимости ручного вмешательства. Контроль и управление становятся частью жизненного цикла данных.
Стратегическое управление данными и автономная инфраструктура
По мере того как инициативы в области искусственного интеллекта приобретают стратегический характер, организации сталкиваются с растущим давлением, вынуждающим их точно знать, где хранятся данные, кто имеет к ним доступ и какие законодательные и регуляторные нормы регулируют их использование. Это особенно актуально для предприятий, работающих в нескольких странах или в отраслях с жестким регулированием. В таких условиях требования к локализации данных, инициативы по обеспечению цифрового суверенитета и отраслевые обязательства по соблюдению нормативных требований все сильнее влияют на принятие решений об инфраструктуре.
Вместо того чтобы рассматривать эти аспекты как разрозненные задачи по управлению, современная инфраструктура должна сделать политику локализации, хранения и доступа частью самого жизненного цикла данных. Это позволит организациям выполнять регуляторные требования, не создавая дополнительной операционной сложности.
Технологии автономности и устойчивость систем
Одним из наиболее важных конструктивных решений в автономной инфраструктуре данных является то, что неизменяемость (immutability) данных встроена непосредственно в движок хранилища, а не реализуется исключительно через административные политики. Вместо изменения существующих данных на месте, записываются новые версии, тогда как предыдущие остаются нетронутыми.
В сочетании с распределенным механизмом самовосстановления, который перестраивает только затронутые объекты, а не целые диски, это создает принципиально иную операционную модель устойчивости. Восстановление становится частью нормального поведения системы, а не исключительным событием, требующим от администраторов координации длительных ремонтных работ.
Эволюция роли инфраструктурных специалистов
Возможно, самое интересное следствие этих изменений мало связано с технологиями хранения данных как таковыми. Инфраструктурные команды уже отвечают за среды, которые растут быстрее, чем численность персонала, а искусственный интеллект лишь усугубляет этот дисбаланс. Цель состоит не в исключении людей из операционных процессов, а в сокращении времени, которое высококвалифицированные инженеры тратят на рутинное обслуживание, не приносящее значимой стратегической ценности.
По мере того как все больше рутинных операций переходит под управление политик и подвергается непрерывной оптимизации, специалисты по инфраструктуре могут уделять больше внимания архитектуре, управлению, планированию мощностей и приведению технологических решений в соответствие с бизнес-приоритетами. Эта эволюция повторяет процессы, происходящие в разработке программного обеспечения, сетевых технологиях и кибербезопасности. Искусственный интеллект планомерно переносит фокус человеческой экспертизы с рутинного исполнения на проектирование систем, управление и принятие стратегических решений.
Автономная инфраструктура данных отражает этот же прогресс. Вместо того чтобы просить администраторов управлять постоянно растущим набором продуктов для хранения, она рассматривает инфраструктуру как адаптивную систему, работающую в рамках политик, установленных ответственными за нее людьми. Наиболее эффективный подход заключается не в том, чтобы исключить человека из цикла управления, а в том, чтобы оставить за ним контроль над решениями, определяющими безопасность, комплаенс и бизнес-результаты, позволяя платформе автономно выполнять повседневные операционные задачи.
Будущее корпоративной ИТ-среды
С этой точки зрения автономная инфраструктура данных — это не столько про хранение, сколько про подготовку корпоративных ИТ к следующему десятилетию. Искусственный интеллект обнажил ограничения архитектур, построенных на изолированных продуктах, ручной координации и постоянно растущих операционных издержках. Организации продолжат инвестировать в более быстрые GPU и более мощные модели, но эти вложения принесут максимальную отдачу только в том случае, если инфраструктура, лежащая в их основе, будет способна столь же эффективно справляться со сложностью.
Следующее поколение корпоративной инфраструктуры не будет просто хранить данные более эффективно. Оно будет активно участвовать в управлении средами, от которых зависит современный искусственный интеллект.
