На фоне острой конкуренции за вычислительные мощности в сфере ИИ, фокус индустрии смещается с создания новых моделей на повышение эффективности существующих решений. Компания Vidraft представила систему VKAE, предназначенную для ускорения инференса. По заявлениям разработчиков, технология позволяет добиться роста производительности графических ускорителей до 23 раз без замены «железа».
Интерес к подобным разработкам продиктован экономической моделью ИИ-сервисов. В то время как обучение нейросети — разовый процесс, инференс (генерация ответов) происходит постоянно. Именно затраты на инференс составляют основную статью расходов для облачных платформ и корпоративных систем искусственного интеллекта.
VKAE функционирует как программная надстройка, оптимизирующая работу GPU. В отличие от выпуска новых поколений видеокарт, этот метод извлекает скрытый потенциал из уже имеющегося оборудования за счет глубокой настройки вычислительных ядер и алгоритмов планирования задач.
Результаты тестирования на Nvidia B200
Согласно отчету, тесты проводились на ускорителе Nvidia B200. Результаты показали значительный прирост скорости обработки запросов, причем без потери качества генерации или точности ответов модели.
Особого внимания заслуживает работа модели Qwen3.5–35B-A3B. В условиях высокой конкурентной нагрузки система продемонстрировала пропускную способность более 10 тысяч токенов в секунду. Однако разработчики уточняют: итоговый показатель сильно зависит от типа запросов. При выполнении разнообразных «реальных» задач производительность данной модели составила около 455 токенов в секунду.
Зависимость от архитектуры и воспроизводимость
Авторы проекта отмечают, что эффективность VKAE не является универсальной величиной: степень ускорения варьируется в зависимости от архитектуры конкретной нейросети. Результат определяется спецификой организации памяти и тем, где именно возникают вычислительные «узкие места» в модели.
Важной особенностью релиза стала ориентация на прозрачность. Разработчики предоставляют единый контейнер, объединяющий веса модели и оптимизированную среду выполнения. Благодаря поддержке интерфейса OpenAI API, систему можно интегрировать в действующую инфраструктуру без существенных доработок.
По мнению команды Vidraft, возможность самостоятельной проверки бенчмарков на своем оборудовании должна стать главным фактором доверия к их технологии. Конкретные технические подробности механизма работы VKAE пока не раскрыты, однако компания готовит детальное описание системы в формате препринта.
