Многие ведущие компании в сфере искусственного интеллекта придерживаются стратегии закрытых лабораторий, полагая, что ограничение доступа к передовым моделям является единственным способом предотвратить их непредсказуемое поведение или возможный ущерб. Однако Нейтан Ламберт и Том Зик, ученые с опытом работы в индустрии, решили бросить вызов этому подходу, запустив некоммерческую организацию Trillium Labs. Их цель — проводить исследования в наиболее чувствительных областях, таких как рекурсивное самосовершенствование (RSI) и создание автономных агентов, в условиях полной прозрачности.
Принципы открытых исследований в Trillium Labs
Основная деятельность новой лаборатории будет заключаться в публикации подробных отчетов об экспериментах. По мнению Нейтана Ламберта, нынешняя закрытость ведущих игроков, таких как OpenAI и Anthropic, препятствует критическому анализу и обмену знаниями внутри научного сообщества. Ламберт утверждает, что существующая траектория развития frontier-моделей является шагом назад, так как она лишает человечество инструментов научного метода, необходимых для снижения рисков и проектирования безопасного будущего.
В отличие от крупных корпораций, предоставляющих доступ к своим разработкам лишь через ограниченные API, другие компании, включая Xiaomi, демонстрируют более открытый подход, делясь деталями процесса обучения моделей. Также исследователи из Стэнфорда сейчас занимаются предварительным обучением модели Marin в открытом доступе. Разногласия в индустрии связаны с огромной мощностью современных систем, способных автоматически находить уязвимости в программном обеспечении и совершать кибератаки. В то время как сторонники закрытых систем настаивают на контроле со стороны узкого круга лиц, команда Trillium Labs убеждена, что только общее понимание рисков может сделать развитие технологий безопасным для всех.
Фокус на обучении моделей и рекурсивном самосовершенствовании
Нейтан Ламберт ранее работал в исследовательском центре Ai2, где практиковался открытый подход к данным и методам обучения, а также в компании Hugging Face. Он также основал инициативу American Truly Open Models, продвигающую идеи выпуска открытых моделей в США. Том Зик, работавший в Гарвардском университете и помогавший Charles Schwab разрабатывать политики ответственного использования ИИ, объединился с Ламбертом во время пандемии COVID-19, когда оба были аспирантами Калифорнийского университета в Беркли.
Trillium Labs, начавшая свою работу сегодня, сосредоточится на следующих направлениях:
- Посттренировка: тонкая настройка больших моделей уже после завершения основного цикла обучения.
- Рекурсивное самосовершенствование (RSI): изучение процессов, при которых ИИ участвует в создании новых поколений моделей. Эта область вызывает опасения у многих экспертов из-за риска потери человеческого контроля, что недавно стало предметом дискуссий после ухода одного из исследователей из компании Anthropic.
- Обучение с подкреплением: анализ влияния методов поощрения и наказания на поведение ИИ. Хотя этот подход делает агентов более эффективными, он также приводит к нежелательным последствиям, таким как склонность моделей к чрезмерной угодливости (сикофантии).
Финансирование и цели организации
Для проведения глубокого анализа процессов масштабирования обучения Trillium Labs планирует использовать значительные вычислительные мощности. Организация уже привлекла undisclosed-сумм финансирования от Schmidt Sciences, Halcyon Futures и других инвесторов. В планы основателей входит привлечение от 40 до 100 миллионов долларов общего капитала, из которых 30 миллионов долларов будут направлены наトレーニング в ближайшие 18 месяцев.
Тим Фист, директор по политике в сфере новых технологий аналитического центра Institute for Progress, положительно отозвался о создании лаборатории, отметив важность прозрачности в исследованиях. Основатели Trillium Labs рассчитывают, что их работа принесет необходимый уровень глубины и научной доказательности в общественную дискуссию, которая сегодня, по мнению Ламберта, монополизирована лишь несколькими точками зрения.
Почему прозрачность критически важна для безопасности
Нейтан Ламберт подчеркивает, что нынешняя «закрытая траектория» развития передового ИИ фактически лишает отрасль фундаментальных инструментов научного познания. Использование научного метода на протяжении тысячелетий помогало человечеству минимизировать вред и проектировать лучшие сценарии будущего, однако сегодня этот процесс заблокирован. Ламберт отмечает, что крупные лаборатории, ограничивая доступ к своим моделям лишь через приложения или API, создают дефицит информации о том, как именно архитектуры строятся и почему они демонстрируют те или иные типы поведения.
Разделение взглядов в индустрии сегодня достигло пика, в частности из-за того, что современные модели обрели способность автоматизировать поиск уязвимостей в программном обеспечении и самостоятельно исследовать системы на предмет взлома. Громкие хакерские инциденты последнего времени лишь усилили запрос на то, чтобы знать, кто именно держит руку на пульсе этих технологий. В то время как сторонники жесткого контроля настаивают, что власть над «опасной мощью» должна принадлежать доверенному кругу лиц, Ламберт и Зик придерживаются противоположной позиции: разделяемое всеми участниками научного сообщества понимание рисков делает ситуацию безопаснее для общества в целом.
История становления и академические корни Trillium Labs
Идея создания некоммерческой организации родилась из личных наблюдений основателей за растущим разрывом между закрытыми промышленными исследованиями и академической средой. Будучи аспирантами Калифорнийского университета в Беркли во время пандемии COVID-19, Ламберт и Зик часто обсуждали, что профессора и студенты оказываются в изоляции: они физически не способны воспроизвести результаты экспериментов, проводимых внутри гигантов индустрии, из-за отсутствия доступа к аналогичным вычислительным ресурсам.
Для Тома Зика этот проект — логичное продолжение его предыдущего опыта, включающего работу в Гарвардском университете и консультирование финансовой корпорации Charles Schwab по вопросам политики «ответственного ИИ». У Нейтана Ламберта за плечами — опыт работы в Ai2, лаборатории, известной публикацией не только самих моделей, но и детальных данных, а также методов их обучения. Кроме того, Ламберт широко известен как автор популярного технического блога и основатель инициативы American Truly Open Models, которая активно призывает американские компании выпускать более прозрачные и доступные продукты.
Научный подход к поведению агентов
В фокусе внимания новой лаборатории окажутся не только фундаментальные процессы обучения, но и поведенческие характеристики ИИ. Одной из ключевых тем станет исследование того, как обучение с подкреплением (reinforcement learning) влияет на формирование «характера» модели. Хотя этот метод позволяет достичь высокой эффективности, он часто провоцирует нежелательные эффекты. Зик приводит в пример проблему «чрезмерной угодливости» (sycophancy), когда модель начинает подстраиваться под мнение пользователя вместо того, чтобы предоставлять объективную информацию.
«Чтобы разобраться в том, как обучение с подкреплением масштабируется на этапе посттренировки, нужны серьезные вычислительные мощности и очень тщательное, методичное экспериментирование», — поясняет Зик. Она убеждена, что публикация подробных данных о том, как именно проходят циклы такого обучения, позволит внешним исследователям обнаружить скрытые паттерны и сделать выводы, которые сейчас недоступны даже самим разработчикам внутри корпораций.
