Компания Thinking Machines Lab представила открытую мультимодальную модель Inkling-Small, построенную на архитектуре Mixture-of-Experts (MoE). При общем объеме параметров в 276 млрд, система задействует лишь 12 млрд активных параметров на токен. Разработчики полностью открыли веса модели, предоставив сообществу доступ к своей технологии.
Несмотря на то, что Inkling-Small позиционируется как «младшая» версия, она продемонстрировала превосходство над оригинальной Inkling, которая использует 41 млрд активных параметров. Новинка оказалась эффективнее сразу в нескольких ключевых бенчмарках:
- Terminal-Bench 2.1: 64,7% против 63,8%;
- Humanity’s Last Exam: 31,6% против 29,7%;
- WE-Bench Verified: 80,2% против 77,6%.
Столь высокие показатели достигнуты благодаря обновленной методике обучения. Сначала модель прошла процедуру on-policy-дистилляции, где в роли «учителя» выступала старшая версия Inkling. После этого систему в течение двух недель дообучали методом reinforcement learning (обучение с подкреплением), фокусируясь на задачах агентного программирования.
Inkling-Small является полноценным мультимодальным решением: она поддерживает работу с текстом, изображениями и аудио. Модель способна обрабатывать контекст объемом до 1 млн токенов и предлагает пользователям гибкую настройку глубины рассуждений, позволяя выбирать оптимальное соотношение между скоростью генерации и качеством ответов. Полный инструментарий и веса доступны для загрузки и дообучения через платформу Tinker.
Техническая архитектура претерпела значительные изменения: разработчики отказались от использования отдельного энкодера, внедрив унифицированную систему обработки данных. Изображения теперь фрагментируются на блоки 40×40 пикселей, а аудио конвертируется в dMel-спектрограммы. В дальнейшем все типы данных анализируются совместно с текстовыми токенами.
Результаты тестов показывают, что при значительно меньших вычислительных затратах Inkling-Small практически не уступает старшей модели в задачах визуального анализа, распознавании диаграмм и сложных мультимодальных сценариях. В Thinking Machines Lab подчеркивают, что оригинальная Inkling по-прежнему сохраняет преимущество в объеме накопленных знаний и общей фактической точности, однако новинка предлагает гораздо более эффективное соотношение производительности и стоимости эксплуатации.
