Очередной исследователь выступил с критикой в адрес OpenAI, поставив под сомнение методы сбора данных, которые лежат в основе впечатляющих достижений компании в области математики. Вслед за недавним конфликтом по поводу использования неопубликованных работ, второй математик открыто обвинил технологического гиганта в неэтичном поведении и отсутствии прозрачности в отношении источников обучающих данных.
Опасения Андреаса Тома и взаимодействие с ChatGPT
Математик Андреас Том в серии публикаций на платформе Mastodon выразил обеспокоенность тем, что его взаимодействие и работа его коллег с чат-ботом ChatGPT могли способствовать успехам ИИ-моделей компании. Поводом для заявлений стал недавний анонс OpenAI, посвященный результатам в области так называемых «не-софических групп» — бесконечных математических структур, которые невозможно аппроксимировать конечными. В своем описании результата OpenAI признала, что опиралась на предыдущие труды Тома и Габора Куна.
Том заинтересовался этим вопросом после того, как профессор математики из Нью-Йоркского университета Тристан Бакмастер публично предположил, что модели OpenAI могли использовать его собственные наработки, полученные в процессе использования инструмента Codex. Изначально OpenAI подверглась критике в научном сообществе за отсутствие упоминаний вклада Тома и Куна, из-за чего компании пришлось внести изменения в свою публикацию.
Недостаточность объяснений со стороны OpenAI
Андреас Том обратился по электронной почте к исследователям OpenAI Себастьену Бубеку и Марку Селлке, чтобы прояснить, входили ли результаты его диалогов с ChatGPT в обучающую выборку или учитывались в процессе рассуждений модели. Однако полученный ответ не удовлетворил ученого. По его словам, компания лишь прокомментировала возможность доступа к конкретным чатам, но не пояснила, могли ли эти данные стать частью огромных массивов информации, используемых для обучения ИИ.
«Никаких уточнений, объяснений или доказательств предоставлено не было, — прокомментировал Том. — Я считаю это, как минимум, нечестным». Математик отметил, что у исследователей нет инструментов для обратного проектирования конвейера обучения OpenAI, поэтому обязанность доказать правомерность использования данных лежит исключительно на компании.
Спорные вопросы интеллектуальной собственности и прозрачности
Позиция OpenAI в текущем споре напоминает то, как компания защищала решение одной из «проблем тысячелетия» в области механики жидкости (уравнения Навье — Стокса). Тогда OpenAI заявила, что исследователи и агенты не видели работ других ученых до их публичного релиза. При этом компания добавила, что «хотя это маловероятно, мы не можем исключить, что деидентифицированные данные, полученные в результате использования наших продуктов, помогли улучшить наши модели».
Андреас Том подчеркивает, что деидентификация может убрать имя автора, но не удаляет интеллектуальное содержание математической идеи. Он назвал ответ Марка Селлке «материально вводящим в заблуждение» и «нечестным». По мнению ученого, крайне неэтично использовать непубличные исследования пользователей для улучшения моделей, чтобы затем конкурировать с ними же в борьбе за публикацию научных открытий без надлежащего согласия или упоминания авторства.
На данный момент ситуация вызывает серьезную обеспокоенность в математическом сообществе. Многие исследователи опасаются, что подобная практика вынудит ученых сделать свою деятельность более закрытой, если они будут знать, что даже слухи о прогрессе в решении сложной задачи могут спровоцировать гонку со стороны хорошо финансируемого технологического гиганта.
Детали взаимодействия и технические нюансы
Андреас Том особо подчеркнул, что его внимание привлекло «детальное владение OpenAI» их методами. По словам ученого, предложенные компанией пути решения задачи на тот момент не являлись ни очевидными, ни наиболее перспективными. Это навело его на мысль о том, что алгоритмы могли «подсмотреть» специфические ходы в частных беседах математиков с нейросетью. Его запросы, направленные исследователям OpenAI Себастьену Бубеку и Марку Селлке (последний также является статистиком в Гарварде), преследовали цель выяснить, стали ли результаты их обсуждений частью обучающей выборки или инструментом логического вывода для модели. Поскольку четкого отрицания использования пользовательского контента в обучении получено не было, Том счел поведение компании попыткой уйти от ответа.
Параллели с решением проблемы Навье — Стокса
Ситуация с Андреасом Томом зеркально отражает недавние трения OpenAI с Тристаном Бакмастером. Бакмастер, работавший над решением уравнений Навье — Стокса совместно с исследователем Anthropic Левентом Альпёге, столкнулся с аналогичной неопределенностью. Хотя в официальном блоге OpenAI категорически отрицается доступ к конкретным данным пользователей до момента их публичного раскрытия, компания оставила «лазейку» в своих формулировках. Признание того, что деидентифицированные данные могли способствовать улучшению моделей, для математиков звучит как признание кражи интеллектуального потенциала. Как отмечает Том, удаление имени из файла не превращает украденную идею в общественное достояние: «Деидентификация может убрать имя; она не удаляет интеллектуальное содержание математической идеи».
Риски для мировой математической науки
Нынешний скандал разворачивается на фоне триумфальных заявлений OpenAI о решении одной из «проблем тысячелетия». Сама компания объяснила свое внезапное участие в решении этой задачи необычными обстоятельствами: по словам представителей OpenAI, они услышали слухи о прогрессе сторонних исследователей в интернете и решили включиться в гонку. Именно такой подход вызывает наибольшее отторжение в научном сообществе.
Многие математики выражают опасения, что подобные инциденты могут радикально изменить культуру академических исследований. Если ведущие ученые будут знать, что даже неосторожно оброненный слух о приближении к крупному открытию может спровоцировать «набег» технологического гиганта, обладающего колоссальными вычислительными ресурсами, они предпочтут закрытость публичности. Это приведет к упадку открытого научного обмена, который десятилетиями был фундаментом математического прогресса, превращая исследовательскую среду в поле жесткой конкуренции, где этика отступает перед желанием корпорации зафиксировать за собой приоритет в открытиях.
