OpenAI формирует консультативный совет для работы с математическим сообществом
После череды спорных математических результатов, обернувшихся репутационным кризисом, компания OpenAI решила привлечь профессиональных математиков для поиска более конструктивного пути развития. В понедельник корпорация объявила о создании независимой группы экспертов, чья задача — консультировать OpenAI и другие ИИ-компании по вопросам взаимодействия с академической математической средой, включая правила презентации и публикации новых научных результатов.
Данная инициатива, получившая название «Консультативная группа по математике и искусственному интеллекту» (AGMAI), стала неожиданностью для многих представителей научного сообщества. В состав группы вошли девять экспертов с мировым именем, представляющих такие учебные заведения, как Стэнфорд, Гарвард, Оксфорд и Кембридж. Среди участников — обладатели Филдсовских премий и грантов Макартура, которых исследователи называют «знаменитостями» в своей области. Базироваться группа будет в Институте перспективных исследований (IAS) в Принстоне, который в прошлом был интеллектуальным домом для Альберта Эйнштейна, Джона фон Неймана и Дж. Роберта Оппенгеймера.
Полномочия и принципы работы группы
Несмотря на то, что инициатива исходила от OpenAI, компания заявляет, что AGMAI будет функционировать независимо. Группа имеет право предоставлять советы по собственной инициативе, не дожидаясь запроса от компании, публично комментировать влияние ИИ на математику и обнародовать свои рекомендации. Предполагается, что для выполнения этих задач участники совета получат ранний доступ к исследованиям OpenAI.
Основные направления работы группы включают:
- Консультирование по вопросам проверки и коммуникации новых результатов: оценка их значимости и координация распространения.
- Рекомендации по академическим и профессиональным стандартам математических исследований.
- Советы по тому, как инструменты OpenAI могут поддерживать математические исследования и обучение.
OpenAI подчеркивает, что члены группы не получают вознаграждения, обладают правом самостоятельно менять свой состав и призваны проявлять собственную критическую позицию, оспаривая решения компании.
Вопросы независимости и прозрачности
Несмотря на заявленную независимость, у исследователей остаются вопросы о реальном влиянии совета на политику OpenAI. Саймон Мачадо из Швейцарской высшей технической школы Цюриха (ETH Zurich) отметил «завесу тайны», окружающую формирование группы, и выразил сомнения относительно процесса выбора ее участников. Официальный сайт организации гласит, что она была создана после того, как математики, к которым обратилась OpenAI, решили сформировать независимый орган и пригласить коллег.
Член совета Мартин Хайрер, профессор математики Имперского колледжа Лондона и Федеральной политехнической школы Лозанны (EPFL), в своем блоге опроверг «поток дезинформации» о создании группы. Он подчеркнул:
«Совершенно очевидно, что ИИ уже оказал глубокое влияние на математические исследования и поднимает множество вопросов об атрибуции идей, приоритетах и человеческом понимании. В сообществе нет смысла придерживаться страусиной политики, просто игнорируя ИИ-лаборатории и принципиально отказываясь с ними разговаривать».
Хайрер подтвердил, что организация независима от OpenAI и других «передовых» ИИ-лабораторий. Он отметил, что участники не подписывали ограничительных соглашений о неразглашении (за исключением стандартных требований конфиденциальности), не получают денег за свою работу и опираются на техническую поддержку со стороны IAS. Главной целью экспертов, по словам Хайрера, является максимально полное представление интересов математического сообщества.
Перспективы и критика экспертной группы OpenAI
Хотя сам Хайрер отметил, что данная группа вряд ли представляет собой репрезентативную выборку всего сообщества, он заявил, что «абсолютно уверен в том, что все девять участников относятся к делу предельно серьезно и действуют добросовестно». Независимо от способа отбора, текущий состав группы сформирован из элитных академических математиков.
Малая численность группы вызывает дополнительные вопросы о том, обладает ли она достаточной широтой экспертизы, необходимой для оценки всего потока поступающих данных, учитывая узкоспециализированные навыки и знания, требуемые для работы на переднем крае математической науки.
Мнения о представительности и «башне из слоновой кости»
Франческо Фурнье-Фачио, будущий профессор математики в Университете Хериот-Ватт в Шотландии, охарактеризовал свое отношение к панели как «амбивалентное», отметив, что более широкое взаимодействие с математиками «может только улучшить ситуацию». Однако он усомнился, полностью ли эта группа отражает интересы сообщества, чья работа и средства к существованию оказываются под угрозой из-за стремления OpenAI коллекционировать «математические трофеи». «Это похоже на башню из слоновой кости», — заявил он в интервью The Verge.
Мачадо также выразил сомнение в том, что члены группы до конца понимают или могут озвучить опасения более широкого математического сообщества в отношении ИИ. «Они потрясающие математики, но я не уверен, что это те люди, которых я хотел бы видеть своими представителями в более политических вопросах», — сказал он. По словам Мачадо, для математиков, находящихся на подобных элитных позициях, «реальность, с которой они сталкиваются, сильно отличается от той, в которой сейчас пребывает большинство математиков». Способность группы завоевать доверие коллег определит, насколько эффективно она сможет сгладить последствия недавней череды ошибок OpenAI при анонсировании результатов и — что более важно — смягчить удар от любых будущих заявлений компании.
Дилемма взаимодействия с ИИ-лабораториями
В своем блоге Хайрер признал: участники были бы «очень наивными, если бы полагали, что ИИ-лаборатории не попытаются использовать наши слова в интересах своей PR-машины, которая затмевает всё, что мы могли бы противопоставить». Тем не менее, Хайрер утверждает, что было бы лицемерием не участвовать в диалоге сейчас, когда OpenAI, по-видимому, делает попытки наладить контакт, особенно после того, как многие подвергли критике действия компании и ее плохую коммуникацию.
Группа еще не пришла к единому мнению по поводу советов, которые она намерена дать. Однако Хайрер указывает на четкую проблему: «Факт остается фактом: компании, занимающиеся ИИ, в последние месяцы получили ряд громких математических результатов, а их публикация и распространение далеки от приемлемой математической практики, как бы ее ни определяли». На данный момент группа собирает информацию через личные беседы с коллегами, форму обратной связи для общественности и дискуссии на блоге Proofs and Prompts, который стал ключевым форумом для математиков, анализирующих влияние ИИ на их дисциплину.
Вызовы и прошлые просчеты OpenAI
Наибольшие трудности, вероятно, еще впереди. При анонсировании консультативной группы OpenAI попутно сообщила новость о том, что ее новая, еще не выпущенная модель — та самая, что решила проблему Навье-Стокса из списка задач премии тысячелетия, — теперь «решила более 100 давних открытых проблем в большинстве областей математики». Ранее компания заявляла, что близка к решению еще одной задачи премии тысячелетия.
На своем сайте группа указала, что решение этой проблемы заторов является ее приоритетом номер один: «В настоящий момент перед нами стоит конкретная задача — консультировать OpenAI по вопросам координации выпуска большого количества значимых математических результатов, которые, как сообщается, были получены их внутренней моделью». Новые попытки взаимодействия с математиками — это отчасти признание того, что предыдущие действия компании стали колоссальным PR-провалом. OpenAI пришлось отбиваться от обвинений в присвоении чужих исследований, неспособности указать вклад человеческого труда, на котором строились модели, и даже в краже идей у тех, кто пользуется их технологиями.
Эти противоречия заставили многих математиков задаться вопросом: понимает ли компания дисциплину и сообщество, в которые она ворвалась, или хотя бы уважает их? Кевин Баззард, профессор математики Имперского колледжа Лондона, после нескольких месяцев обсуждений того, чего именно хотят математики, выразил недоумение, зачем OpenAI понадобился столь элитный орган для понимания нужд сообщества. «Дело было не в доказательствах сложных теорем, а в лучшем понимании нашего предмета», — сказал он. — «Мне не совсем очевидно, что для того, чтобы донести эту мысль, нужен комитет из блестящих людей».
Детали формирования и неясности в деятельности группы
Несмотря на публичные заявления, многие аспекты работы группы остаются туманными. Например, до сих пор неясно, какие именно члены совета были выбраны OpenAI изначально, а какие присоединились к инициативе позже. Исследователи, общавшиеся с порталом The Verge, отмечали, что, хотя создание такой группы — это хороший первый шаг, у них остаются базовые вопросы о том, какими полномочиями она будет обладать, насколько сильно сможет влиять на решения компании и будет ли OpenAI в конечном итоге прислушиваться к этим советам.
Критики также подчеркивают разрыв в восприятии реальности. Саймон Мачадо из ETH Zurich выразил обеспокоенность тем, что участники группы — «потрясающие математики», занимающие элитные академические позиции, — могут не в полной мере осознавать или выражать опасения обычных представителей научного сообщества, для которых деятельность компаний вроде OpenAI несет гораздо более ощутимые профессиональные риски.
Приоритетные задачи и контекст развития
В блоге Мартина Хайрера была затронута важная проблема «присвоения идей» и несоблюдения приоритетов. Хайрер отметил, что отказ от диалога с ИИ-лабораториями был бы «страусиной политикой». Тем не менее, группа осознает, что противостоит мощной PR-машине компании. В текущей повестке совета — координация выпуска значительного количества результатов, полученных внутренней моделью OpenAI. Это включает не только решение задач премии тысячелетия, но и работу над более чем 100 открытыми математическими проблемами.
«Это был не вопрос доказательств сложных теорем, это был вопрос лучшего понимания нашего предмета. Не совсем очевидно, что для того, чтобы донести эту мысль, требуется комитет из блестящих людей», — отметил профессор Кевин Баззард, комментируя разрыв между ожиданиями сообщества и ответом компании.
Таким образом, успех проекта будет зависеть от того, сможет ли AGMAI превратиться из «башни из слоновой кости» в орган, способный реально регулировать академические стандарты в эпоху, когда ИИ-модели начинают генерировать научные прорывы быстрее, чем профессиональное сообщество успевает их верифицировать и осмыслить.
