Работа с объемными документами — один из самых востребованных сценариев использования искусственного интеллекта. Чтобы выяснить, какой инструмент лучше справляется с глубоким анализом данных, был проведен тест, в котором ChatGPT, Claude и NotebookLM получили один и тот же 113-страничный PDF-отчет о железнодорожной аварии в Англии. Документ содержал детальное описание событий, технические и организационные факторы, а также графики, что позволило проверить способность моделей связывать разрозненную информацию.
Методология и задачи тестирования
Для обеспечения объективности сравнения использовались платные версии всех трех инструментов. Исследователь задал нейросетям ряд вопросов разной сложности: от поиска конкретных фактов и реконструкции хронологии событий до объяснения причин аварии для неспециалистов и интерпретации графиков (в частности, рисунка 41).
Преимущества ChatGPT в синтезе данных
ChatGPT продемонстрировал неожиданно высокие результаты, показав способность к более глубокому анализу. В отличие от конкурентов, модель указала точное время столкновения — 18:42:57, тогда как другие инструменты округлили его до 18:43. При ответе на вопрос о причинах, по которым поезд не остановился вовремя, ChatGPT успешно синтезировал данные из разных частей отчета: информацию с бортового самописца, данные о работе системы защиты от проскальзывания колес, результаты физических испытаний путей и отчеты о торможении. В вопросе о наиболее эффективном вмешательстве для предотвращения аварии ChatGPT корректно выделил сценарий с торможением у моста Брокен-Кросс, который был смоделирован в отчете.
Особенности работы Claude и NotebookLM
Claude в ходе эксперимента допустил фактическую ошибку, назвав систему двойного дозированного пескования (DVRS) ключевым фактором предотвращения аварии. Модель проигнорировала прямое моделирование сценария торможения у моста Брокен-Кросс, которое приводилось в документе. Кроме того, ответы Claude оказались перегружены сложной технической терминологией, даже когда запрос требовал максимально простого объяснения для пользователя без знаний в области железных дорог.
Google NotebookLM показал стабильную работу без фактических неточностей, однако его ответы зачастую были менее детализированными, чем у ChatGPT. Главным преимуществом NotebookLM остается система цитирования: каждый ответ сопровождается кликабельными ссылками, позволяющими мгновенно увидеть исходный фрагмент текста, из которого была взята информация. Это избавляет пользователя от необходимости вручную искать данные в документе.
Итоги эксперимента
Хотя NotebookLM остается предпочтительным инструментом для задач, где критически важна верификация источников и минимизация галлюцинаций нейросети, ChatGPT показал более глубокое понимание контекста и способность качественно связывать разрозненные детали сложных отчетов. Claude, несмотря на качественную подачу материала, в данном тесте уступил по критериям точности выводов и лаконичности изложения.
Детали эксперимента и методология
Выбор документа был не случаен: 113-страничный отчет о железнодорожной катастрофе включал в себя не только текстовое описание событий, предшествующих аварии, но и множество графиков и иллюстраций. Это позволило проверить, насколько эффективно нейросети могут объединять информацию, разбросанную по разным частям документа, и интерпретировать визуальные данные.
Список вопросов, предложенных моделям, был составлен для проверки различных когнитивных навыков ИИ:
- Какое время столкновения и какова была скорость обоих поездов?
- Объяснение случившегося пятью предложениями для человека без знаний о железных дорогах.
- Хронологическая реконструкция событий, приведших к столкновению.
- Определение непосредственной причины аварии и сопутствующих факторов.
- Анализ доказательств, подтверждающих выводы отчета о причинах неспособности поезда остановиться.
- Кто управлял проектированием установки TPWS?
- Какое вмешательство, согласно отчету, наиболее прямо предотвратило бы столкновение (с опорой на доказательства)?
- Анализ рисунка 41: находился ли объем работ (work bank) по системе Ellipse выше или ниже красной пунктирной линии среднего значения, и сколько задач их разделяло?
Глубина анализа: почему ChatGPT вышел вперед
Помимо точности в указании времени (18:42:57), ChatGPT проявил себя лучше в задачах на синтез. Когда потребовалось объяснить, почему поезд не остановился, модель не ограничилась одним абзацем. Она связала воедино данные бортового самописца, активность системы защиты от проскальзывания колес, результаты физических тестов загрязненных рельсов и данные о местах начала торможения, извлеченные из разных глав отчета.
Особое внимание модель уделила вопросу о превентивных мерах. ChatGPT правильно выделил сценарий торможения у моста Брокен-Кросс, противопоставив его менее вероятному сценарию у упавшего дерева, где отчет был не столь однозначен. Это продемонстрировало умение модели работать с нюансами, а не просто повторять фрагменты текста.
Ошибки и стилистические просчеты Claude
В ходе тестирования Claude совершил критическую ошибку, ответив на вопрос о наиболее прямом способе предотвращения столкновения. Модель выбрала «двойное переменное пескование» (DVRS) и заявила, что в отчете не были количественно оценены последствия торможения у моста Брокен-Кросс. Однако отчет RAIB содержал прямое моделирование именно этого сценария, в котором было четко указано, что аварии можно было бы избежать. Ответ Claude звучал убедительно, но содержал фактическое упущение.
Также проблемой Claude стала излишняя «поэтичность» и сложность формулировок. Даже при запросе на простое объяснение для новичка, модель использовала чрезмерное количество технических терминов, требующих расшифровки, что противоречило поставленной задаче сделать информацию доступной для обывателя.
Ценность цитирования в NotebookLM
Несмотря на то что NotebookLM в этом тесте показал себя менее глубоким аналитиком по сравнению с ChatGPT, его система работы с источниками остается эталонной. Кликабельные ссылки на исходные фрагменты позволяют мгновенно проверить любую информацию, не тратя время на поиск нужной страницы в PDF-файле. Для многих пользователей это удобство перевешивает некоторую поверхностность выводов, так как полностью исключает необходимость ручного поиска доказательств внутри документа.
Проблематика инструментов ИИ и важность прикладных задач
Автор эксперимента отмечает, что индустрия ИИ сегодня чрезмерно сфокусирована на демонстрации агентов, способных создавать сложные рабочие процессы, или моделей, пишущих целые кодовые базы. Такие функции впечатляют в рамках презентаций, но зачастую оказываются избыточными для рядового пользователя. Работа с «неприлично длинными» PDF-документами, напротив, является фундаментальным кейсом, в котором любой человек может увидеть реальную ценность. Возможность оперативно извлечь из огромного массива данных именно то, что нужно здесь и сейчас, — это то, что отличает практичный инструмент от маркетинговой игрушки.
Нюансы тестирования: проверка на «всеядность»
Для объективности эксперимента автор сознательно включил в список вопросов запрос, относящийся к информации примерно с 80-й страницы документа. Это было сделано для того, чтобы убедиться, что нейросети действительно проводят глубокий поиск по всему объему файла, а не ограничиваются анализом вводных разделов или резюме. Важным аспектом стало и наличие визуального контента — графиков, которые проверяли способность моделей не только работать с текстом, но и интерпретировать данные из иллюстраций.
Анализ поведения моделей: от синтеза до стиля изложения
Интересной деталью стала реакция моделей на запрос об объяснении аварии для человека без профильных знаний. В случае с Claude автор подчеркивает, что проблема была не только в фактической неточности, но и в стилистике: модель выдала ответ, который был «почти поэтичным» и чрезмерно отполированным. Ирония ситуации заключалась в том, что вместо простого и доступного для широкой аудитории объяснения пользователь получил сложный текст, требующий самостоятельного «декодирования» терминологии. Это наглядно продемонстрировало разрыв между качеством «слога» и реальным соответствием запросу.
С другой стороны, NotebookLM, несмотря на отсутствие фактических ошибок в ходе теста, показал себя как инструмент, работающий несколько поверхностно. Хотя модель корректно находила информацию и ясно её излагала, в ней отсутствовала та глубина синтеза, которую продемонстрировал ChatGPT. NotebookLM успешно отвечал на прямые вопросы, но не всегда «связывал нити» между различными разделами так же эффективно, как это сделал лидер эксперимента.
Почему важна система цитирования
Несмотря на победу ChatGPT в интеллектуальной части, автор подчеркивает, что удобство NotebookLM по-прежнему остается уникальным преимуществом. Возможность навести курсор на кликабельную ссылку и мгновенно увидеть точный исходный фрагмент текста, не прибегая к самостоятельному поиску по 113 страницам документа, — это функция, к которой «привыкаешь моментально». Даже если попросить ChatGPT указать источник данных, этот процесс не идет ни в какое сравнение с бесшовной интеграцией, реализованной в NotebookLM. Таким образом, выбор между инструментами сводится к расстановке приоритетов: максимальная глубина аналитики (ChatGPT) или безупречная верифицируемость каждого утверждения (NotebookLM).
