Лаборатория искусственного интеллекта PrismML представила новую разработку в области сжатия больших языковых моделей (LLM). Компания стремится доказать, что производительные модели с возможностями логического рассуждения не обязательно должны быть огромными. Последний релиз стартапа, модель Bonsai 2 27B, позволяет запустить нейросеть с параметрами 27 млрд на обычных потребительских устройствах.
Технология сжатия Bonsai 2
Модель Bonsai 2 27B основана на сжатии архитектуры Qwen3.8 27B от компании Alibaba. Благодаря методам, разработанным инженерами PrismML, объем модели сократился до 5,9 ГБ. Это означает уменьшение требуемой памяти в 9–10 раз по сравнению с исходной версией. По словам генерального директора PrismML Бабака Хассиби, модель сохраняет 98% баллов в агрегированных бенчмарках по сравнению с оригиналом.
Для достижения таких результатов специалисты стартапа применяют метод «тернарных весов». Стандартно для каждого веса нейросети требуется 16 бит, однако PrismML упрощает это значение до трех возможных состояний: +1, -1 или 0. За счет значительного уменьшения объема данных, необходимых для каждого веса, модель занимает существенно меньше дискового пространства и оперативной памяти.
Основатели и инвестиции PrismML
Стартап основан группой исследователей из Калифорнийского технологического института (Caltech) под руководством профессора Бабака Хассиби, эксперта в области технологий сжатия данных. В число советников проекта входит Ион Стойка — сооснователь компании Databricks и директор Sky Computing Lab при Калифорнийском университете в Беркли. Финансовую поддержку PrismML оказывают фонды Khosla Ventures, Cerberus Capital, а также сам Caltech. На текущий момент проект привлек 22,25 млн долларов в рамках посевного раунда финансирования.
Перспективы локального использования нейросетей
По мнению Иона Стойки, данная технология делает продвинутый ИИ доступным непосредственно на устройствах пользователей. Это обеспечивает два ключевых преимущества: отсутствие необходимости в облачных вычислениях и повышенную конфиденциальность пользовательских данных. Кроме того, запуск модели локально позволяет сделать использование нейросетей бесплатным, так как вычисления происходят на уже приобретенном пользователем оборудовании.
Дальнейшее развитие и планы
Первая версия модели Bonsai, выпущенная в марте, достигла 95% точности исходной модели и была загружена более 11 млн раз. Более компактные версии моделей компании также демонстрируют значительный интерес со стороны пользователей, набрав 2,6 млн загрузок. В планах разработчиков на ближайшие месяцы — применение технологии сжатия к более крупным моделям, насчитывающим сотни миллиардов параметров.
Бабак Хассиби отмечает, что с увеличением объема модели появляется больше возможностей для оптимизации без существенной потери интеллекта. Хотя достижение 100% паритета с оригиналами остается сложной задачей, разработчики уверены, что незначительное снижение показателей бенчмарков практически не сказывается на реальной эффективности нейросетей в повседневных задачах.
Технологические нюансы и рыночный контекст
Хотя PrismML — далеко не единственный игрок на рынке сжатия LLM, Бабак Хассиби утверждает, что их подход обладает уникальной эффективностью. В качестве примера конкурентов эксперт приводит Multiverse Computing, основанную известным профессором из испанского Donostia International Physics Center, которая уже привлекла значительные инвестиции. Несмотря на это, результаты Bonsai показывают последовательный рост качества: переход от 95% соответствия бенчмаркам в первой версии (март) до 98% в Bonsai 2 подчеркивает прогресс компании.
Сам Хассиби отмечает, что вопрос достижения «идеальных» 100% производительности носит скорее академический характер. На практике даже 2% разницы в бенчмарках едва ли оказывают ощутимое влияние на реальную работу нейросети. Важно понимать, что итоговая точность системы зависит не только от самой модели, но и от «обвязки» — программного обеспечения, в среде которого она функционирует.
Потенциальное партнерство и будущие масштабы
Успехи стартапа уже породили рыночные слухи: обсуждается возможный интерес со стороны Apple к разработкам PrismML, хотя Бабак Хассиби отказался давать комментарии по этому поводу для TechCrunch. Технологический фундамент компании также опирается на экспертизу Иона Стойки, который, будучи директором лаборатории Sky Computing Lab в Беркли, стоял у истоков множества значимых проектов — от Letta до SGLang.
Заглядывая вперед, руководство PrismML делает ставку на «умное» масштабирование. По мнению Хассиби, при работе с моделями, насчитывающими сотни миллиардов параметров, сжимать данные оказывается даже проще: «Чем больше модель, тем больше пространства для оптимизации без потери интеллекта». В ближайшие месяцы компания планирует представить новые разработки именно в этом сегменте, надеясь еще ближе подойти к порогу полной идентичности с исходными версиями ИИ-моделей.
