Почему масштаб нейросети меняет её поведение: взгляд физики на ИИ
Концепция «More is Different» («Больше — значит иначе»), предложенная физиком Филипом Андерсоном в 1972 году, гласит: свойства сложных систем невозможно предсказать, опираясь лишь на законы, управляющие их элементарными частицами. Профессор Идо Кантер из израильского Университета Бар-Илана решил проверить, насколько этот принцип применим к современным нейросетям, сравнив поведение искусственного интеллекта с классическими физическими системами.
Специализация узлов как драйвер сложности
В основе исследования лежит теория информации, через призму которой ученый анализирует работу нейронов (узлов) внутри моделей. Кантер задался вопросом: как меняется распределение данных по мере роста масштаба системы?
Выяснилось, что в процессе обучения нейросети ее компоненты перестают быть однородными. Узлы «специализируются», начиная фокусироваться на конкретных паттернах или узких лингвистических особенностях. Это ведет к глубокому функциональному разделению и возникновению кооперации между элементами внутри нейросетевой архитектуры.
Иллюстрация: Sora
Эмерджентность против физических закономерностей
По мнению Кантера, даже отдельный узел языковой модели несет в себе полезную информацию, однако истинная мощь раскрывается при их взаимодействии. Совокупный результат работы узлов значительно превышает сумму их индивидуальных вкладов. Это прямое проявление эмерджентности — процесса, когда при объединении частей возникают принципиально новые свойства системы, что полностью соответствует принципу «больше — значит иначе».
В физических же системах наблюдается обратный эффект. Во многих случаях компоненты несут ту же информацию, что и вся совокупность элементов. Добавление новой частицы в такую систему часто не привносит новой информации, что ученый классифицирует как «больше — это то же самое».
Связь с биологией и будущие выводы
Исследователь также проводит параллели с нейробиологией. Опираясь на данные о дендритном обучении — специфическом механизме обработки сигналов в нейронах, — Кантер предполагает, что наш биологический мозг может функционировать на основе гораздо более специализированных и насыщенных информацией элементов, чем предполагалось ранее.
Работа доказывает: эффективность современного ИИ зависит не столько от количества параметров, сколько от способности компонентов «сотрудничать» и специализироваться. Это различие между физическими и искусственными системами позволяет по-новому взглянуть на природу интеллекта и механизм возникновения эмерджентных свойств, которые сегодня делают рост нейросети столь непредсказуемым.
