Современные системы искусственного интеллекта демонстрируют впечатляющие успехи в интерпретации уже существующих научных знаний, однако их способность прогнозировать будущие открытия остается весьма ограниченной. К такому выводу пришли исследователи, разработавшие систему оценки CUSP (Cutoff-conditioned Unseen Scientific Progress). Методология позволила протестировать возможности нейросетей в предсказании реальных событий в восьми различных научных дисциплинах.
Методика тестирования CUSP
В ходе эксперимента авторы CUSP проанализировали 4760 научных достижений, зафиксированных уже после того, как завершилось обучение тестируемых моделей. В испытаниях приняли участие шесть передовых систем, среди которых GPT-5.4, Claude S4.5 и DeepSeek R1. Оценка проводилась по четырем ключевым критериям: вероятность свершения открытия в заданный срок, подбор верного научного механизма, разработка стратегии решения конкретной задачи и прогнозирование точной даты появления результата.
Разрыв между пониманием и предсказанием
Главным итогом исследования стал выявленный дисбаланс между способностью ИИ логически обосновывать научные процессы и умением моделировать реальное будущее. В задачах на выбор правильного научного механизма нейросети показали высокие результаты, заметно опережая случайные показатели: точность GPT-5.4 составила 79,2%, а Claude S4.5 — 69,9%.
Однако, когда дело доходило до оценки вероятности реализации конкретного научного достижения, эффективность моделей резко падала до уровня простого угадывания. GPT-5.4 показал точность 49,1%, а Claude S4.5 — 52,6%. Исследователи отмечают, что модели успешно описывают правдоподобные сценарии развития событий, но теряются, когда требуется определить, какой из множества путей приведет к реальному успеху.
Изображение сгенерировано: Nano Banana
Проблемы с временными рамками
Искусственный интеллект также демонстрирует систематические ошибки при попытке определить сроки научных открытий. В большинстве случаев модели склонны переоценивать время, необходимое для совершения прорыва. Погрешность в прогнозах дат варьировалась от 4,9 месяцев у LLaMA 3.3 до 15,7 месяцев у DeepSeek R1, при этом модели предыдущих поколений ошибались более чем на два года.
Даже предоставление нейросетям расширенного доступа к информации через веб-поиск не решило проблему. Хотя это помогло там, где причиной ошибки было отсутствие фактов, общий разрыв в способности к прогнозированию сохранился. Сравнение с людьми-экспертами оказалось не в пользу машин: специалисты смогли оценить осуществимость научных событий с точностью 73%, тогда как GPT-4o справился лишь с показателем 52,5%.
Выводы для научного сообщества
Авторы работы подчеркивают, что современные ИИ обладают глубокой ретроспективной компетенцией: они прекрасно анализируют накопленные данные и формулируют логичные гипотезы. Однако прогнозирование будущего — это принципиально иная задача. Эти выводы необходимо учитывать при использовании ИИ в процессах распределения грантов, выборе стратегий исследований и принятии других критических научных решений, где ошибка может стоить слишком дорого.
