Инженерам OpenAI удалось найти способ более чем вдвое снизить затраты на обработку запросов к искусственному интеллекту, не прибегая к покупке нового оборудования. Как сообщает издание The Information, после внедрения системы оптимизации для части пользователей ChatGPT потребность в графических процессорах Nvidia в отдельные моменты времени сократилась до нескольких сотен — показатель, который источники называют крайне низким для сервиса подобного масштаба.
Суть оптимизации: инференс как основная статья расходов
Речь идет об оптимизации инференса — процесса выполнения запросов уже обученной моделью. Это направление сегодня является главной статьей расходов для компаний, развивающих генеративный ИИ. В отличие от обучения, которое происходит относительно редко, инференс требует постоянных вычислительных ресурсов для каждого диалога, ответа или действия ИИ-агента.
Согласно отчету The Information, технологию применили для обслуживания пользователей ChatGPT, работающих без регистрации или платной подписки. Если эффективность данного решения окажется масштабируемой, это может кардинально изменить экономическую модель эксплуатации больших языковых моделей (LLM).
Технологический прорыв без новых чипов
Детали внутренней архитектуры решения пока держатся в секрете. Известно лишь, что повышение эффективности достигнуто за счет более рационального использования существующей серверной инфраструктуры. Вероятно, речь идет об улучшении методов пакетной обработки данных, оптимизации распределения запросов или более эффективном управлении памятью видеокарт.
Эксперты подчеркивают, что на фоне глобального дефицита ускорителей и колоссальных вложений в строительство дата-центров, программная оптимизация становится ключевым инструментом конкурентной борьбы. Возможность снизить затраты без закупки дефицитных чипов Nvidia приобретает стратегическое значение.
Стратегические перспективы OpenAI
Пока неясно, затронет ли новая технология платных корпоративных клиентов или наиболее сложные модели с глубоким рассуждением. Если же алгоритм окажется универсальным, OpenAI сможет:
- Расширить бесплатный доступ к своим сервисам.
- Снизить стоимость API для сторонних разработчиков.
- Масштабировать работу автономных ИИ-агентов без расширения аппаратной базы.
В условиях, когда индустрия сфокусирована на создании новых фабрик по производству полупроводников, программные решения такого уровня могут стать решающим фактором. Победа в «ИИ-гонке» будет зависеть не только от количества GPU, но и от эффективности их использования.
