Стартап Subquadratic из Майами официально объявил о выходе из режима «стелс-разработки». Компания заявила о технологическом прорыве: им удалось преодолеть фундаментальное ограничение архитектуры трансформеров, связанное с квадратичной сложностью механизма внимания (attention), который потребляет колоссальные вычислительные ресурсы.
Разработчики представили модель SubQ. Согласно заявлениям компании, она способна обрабатывать сверхдлинные контексты с гораздо меньшими затратами электроэнергии и вычислительных мощностей. Это открывает возможности для анализа сотен документов или масштабных репозиториев программного кода за один проход.
Первые результаты и реакция сообщества
Изначально громкие заявления Subquadratic встретили волну скепсиса в экспертном ИИ-сообществе. Специалисты указывали на отсутствие открытого доступа к модели и скудность независимых верификаций, сравнивая ситуацию с необоснованным маркетинговым хайпом.
Чтобы сгладить недоверие, компания предоставила дополнительные данные и результаты тестирования от сторонней организации Appen — известного поставщика услуг по разметке и оценке данных для ИИ. Согласно их отчётам, SubQ показывает высокую скорость работы и конкурентоспособность в задачах программирования.
Технические особенности SubQ
Ключевое отличие модели заключается в отказе от стандартного механизма dense attention, который заставляет каждый токен взаимодействовать со всеми остальными. В SubQ реализован подход sparse attention — избирательное взаимодействие элементов, что позволяет избежать квадратичного роста вычислений при увеличении длины текста.
Компания утверждает, что модель способна поддерживать контекстное окно до 12 млн токенов. Для сравнения, большинство современных передовых моделей (LLM) ограничены порогом в 1 млн токенов.
Эффективность и ограничения
Согласно результатам, полученным при участии Appen, SubQ обходит решения на базе FlashAttention по скорости обработки. Также модель демонстрирует уверенные показатели в бенчмарке LiveCodeBench.
Однако независимые исследователи предупреждают: результаты бенчмарков не всегда коррелируют с реальной эффективностью модели в повседневных задачах. Также существует дискуссионный момент касательно архитектуры SubQ: ряд экспертов отмечает, что стартап не создал ИИ «с нуля», а лишь адаптировал под свою технологию открытые модели из семейства Qwen.
В настоящее время доступ к SubQ ограничен узким кругом корпоративных клиентов. Компания объясняет закрытость ранней стадией проекта, однако полноценная независимая проверка технологии пока невозможна, что оставляет вопрос о «революционности» архитектуры открытым.
