Обучение современных больших языковых моделей требует колоссальных вложений. Высокая стоимость проекта зависит не только от количества задействованных графических ускорителей, но и от эффективности их эксплуатации. При масштабировании архитектур даже минимальные простои или нерациональное расходование энергии приводят к серьезным финансовым потерям.
Группа экспертов из Массачусетского технологического института (MIT) в партнерстве с инженерами NVidia представила решение, позволяющее оптимизировать вычислительные ресурсы. Разработанный метод дает возможность сократить время обучения ИИ в некоторых случаях почти в два раза.
Оптимизация обучения с подкреплением
Ключевая задача, которую решали ученые, связана с обучением с подкреплением (RL), а именно с фазой «внедрения» (rollout). На этом этапе модель генерирует множество вариантов ответов, чтобы определить наиболее удачные стратегии поведения. Этот процесс критически важен для моделей, ориентированных на логические рассуждения, однако он отличается низкой скоростью выполнения.
Этап генерации ответов может занимать до 85% всего времени обучения. Основная проблема кроется в так называемом «распределении с длинным хвостом» длительности ответов: если большинство генераций завершаются быстро, то небольшое количество занимает значительно больше времени. Из-за необходимости синхронизации между графическими процессорами производительные узлы вынуждены простаивать, ожидая завершения работы «отстающих» ядер.
Метод Taming the Long Tail (TLT)
Новое решение, названное исследователями Taming the Long Tail (TLT), устраняет неэффективность простоев GPU. Вместо того чтобы позволять системе простаивать в ожидании медленных генераций, TLT использует эти паузы для тренировки облегченной «черновой» модели непосредственно в процессе работы.
Этот подход базируется на концепции спекулятивного декодирования, где менее мощная модель предсказывает токены быстрее основной, позволяя проверять их параллельно. Однако классическое спекулятивное декодирование использует статичную черновую модель, которая быстро теряет актуальность в динамичном процессе обучения с подкреплением. TLT же адаптирует эту методику: облегченная модель непрерывно обучается параллельно с основной.
В ходе тестов на моделях, нацеленных на логические рассуждения, и реальных наборах данных технология показала впечатляющие результаты. Исследователи зафиксировали ускорение обучения в диапазоне от 70% до 210% относительно базовых моделей, что в ряде сценариев фактически удваивает общую скорость. При этом важно, что качество и точность работы основной модели остаются на прежнем уровне.
