Глоссарий технологий ИИ: от AGI до вычислительных мощностей
Искусственный интеллект меняет мир и одновременно создает новый язык для описания этого процесса. На профильных встречах, питчах и дискуссиях постоянно звучат термины вроде LLM, RAG, RLHF, а на прошлой неделе к ним добавились понятия, например, «непрозрачная рекуррентность» (opaque recurrence) — техника рассуждений в новой модели Astra от OpenAI, которая встревожила специалистов по безопасности ИИ. Словарный запас обновляется настолько быстро, что даже эксперты в технологическом секторе начинают чувствовать неуверенность. Этот глоссарий призван прояснить ключевые термины для тех, кто занимается разработкой, инвестициями или просто следит за новостями индустрии.
AGI (Сильный искусственный интеллект)
Термин AGI остается размытым, но обычно под ним понимают ИИ, который способен решать широкий спектр задач лучше, чем среднестатистический человек. Генеральный директор OpenAI Сэм Альтман называл AGI «эквивалентом среднего человека, которого можно нанять как коллегу». Устав OpenAI определяет его как «высокоавтономные системы, которые превосходят людей в большинстве экономически ценных видов деятельности». В Google DeepMind придерживаются иного подхода, рассматривая AGI как «ИИ, который как минимум не уступает человеку в большинстве когнитивных задач». Даже эксперты, стоящие на передовой исследований, не пришли к единому определению.
AI-агент
AI-агент — это инструмент, использующий технологии искусственного интеллекта для выполнения последовательности задач от вашего имени. Его возможности выходят за рамки обычного чат-бота: агент может оформлять отчеты о расходах, бронировать билеты или столики в ресторанах, и даже писать и поддерживать программный код. В этой динамичной области понятие «AI-агент» может трактоваться по-разному, а инфраструктура для реализации заявленных функций все еще находится в стадии строительства. Тем не менее, базовая концепция подразумевает автономную систему, способную обращаться к нескольким моделям ИИ для выполнения многошаговых задач.
API-эндпоинты
API-эндпоинты можно представить как «кнопки» на обратной стороне программного обеспечения, которые позволяют другим программам запускать определенные процессы. Разработчики используют эти интерфейсы для создания интеграций — например, для извлечения данных из одного приложения другим или для прямого управления сторонними сервисами через AI-агента без ручного вмешательства человека. Большинство устройств для «умного дома» и подключенных платформ имеют такие скрытые кнопки. По мере развития AI-агенты все чаще самостоятельно находят и используют эти эндпоинты, открывая широкие и зачастую неожиданные возможности для автоматизации.
Chain-of-thought (Цепочка рассуждений)
На простой вопрос — например, «кто выше, жираф или кошка?» — человеческий мозг отвечает мгновенно. Однако для более сложных задач, где требуются промежуточные действия, человеку часто нужны бумага и ручка. Допустим, у фермера есть 40 голов и 120 ног кур и коров; чтобы узнать количество животных (20 кур и 20 коров), потребуется составить уравнение. В контексте ИИ «цепочка рассуждений» для больших языковых моделей означает разбиение проблемы на мелкие промежуточные шаги для повышения качества результата. Это требует больше времени, но увеличивает вероятность правильного ответа, особенно в логических или программных задачах.
Модели рассуждений и кодинг-агенты
Модели рассуждений (reasoning models) развиваются на базе традиционных больших языковых моделей и оптимизируются для «цепочек рассуждений» с помощью обучения с подкреплением. В отличие от них, AI-агент — это программа, способная самостоятельно предпринимать последовательные действия для достижения цели. Кодинг-агент — специализированная версия такого решения для разработки ПО. Вместо простого предложения кода для ручной проверки, кодинг-агент может автономно писать, тестировать и отлаживать программы, выполняя итеративную рутину разработчика. Такие агенты работают с целыми кодовыми базами, исправляя ошибки и запуская тесты с минимальным участием человека. Это похоже на наем очень быстрого стажера, который никогда не спит и не теряет концентрацию, хотя его работу все равно должен проверять человек.
Вычислительные мощности (Compute)
Термин «compute» (вычисления) описывает жизненно важную вычислительную мощность, обеспечивающую работу моделей ИИ. Этот процесс подпитывает индустрию, позволяя обучать и развертывать масштабные модели. Часто под этим термином подразумевают аппаратное обеспечение, предоставляющее такую мощность: графические процессоры (GPU), центральные процессоры (CPU), тензорные процессоры (TPU) и другие элементы инфраструктуры, составляющие фундамент современного ИИ.
Технологии и методы машинного обучения
Глубокое обучение представляет собой подмножество самообучающегося машинного обучения, где алгоритмы строятся на базе многослойной структуры искусственных нейронных сетей (ANN). Такая архитектура позволяет выстраивать более сложные корреляции по сравнению с простыми системами, такими как линейные модели или деревья решений. Структура алгоритмов глубокого обучения черпает вдохновение в принципах взаимодействия нейронов человеческого мозга.
Модели глубокого обучения способны самостоятельно идентифицировать важные характеристики в данных, не требуя от инженеров ручного определения этих признаков. Структура также позволяет алгоритмам учиться на собственных ошибках: за счет повторений и корректировок система улучшает результаты своей работы. Однако для достижения качественных показателей глубокому обучению требуется огромное количество данных (миллионы единиц и более). Кроме того, процесс обучения таких систем обычно длится дольше, чем у простых алгоритмов, что влечет за собой повышение затрат на разработку.
Диффузия, дистилляция и дообучение
Диффузия лежит в основе многих ИИ-моделей, генерирующих изображения, музыку и тексты. Система, вдохновленная физическими процессами, постепенно «разрушает» структуру данных (фотографий, песен и т. д.), добавляя шум до тех пор, пока от исходного объекта ничего не останется. В физике диффузия спонтанна и необратима — например, сахар, растворенный в кофе, невозможно вернуть в форму кубика. В ИИ диффузионные системы стремятся освоить «обратную диффузию», чтобы восстановить данные из шума.
Дистилляция — это метод извлечения знаний из крупной ИИ-модели с помощью системы «учитель-ученик». Разработчики отправляют запросы модели-учителю и фиксируют ответы, иногда сопоставляя их с набором данных для проверки точности. Полученные результаты используются для обучения модели-ученика, которая стремится имитировать поведение учителя. Этот метод позволяет создать компактную и эффективную модель с минимальной потерей знаний. Вероятно, именно так OpenAI разработала GPT-4 Turbo — более быструю версию GPT-4. Хотя компании используют дистилляцию внутренне, некоторые из них применяют её для догона передовых моделей конкурентов, что часто нарушает условия использования API и чат-ботов.
Тонкая настройка (fine-tuning) подразумевает дальнейшее обучение модели для оптимизации её работы под конкретные задачи или узкие области, которые не были приоритетными ранее. Для этого в систему загружают новые специализированные данные. Многие стартапы используют большие языковые модели (LLM) как базу для своих коммерческих продуктов, дополняя предыдущие циклы обучения экспертными знаниями в конкретных доменах.
Генеративно-состязательные сети и проблема галлюцинаций
Генеративно-состязательная сеть (GAN) — это тип фреймворка машинного обучения, используемый для создания реалистичных данных, включая инструменты для дипфейков. GAN задействует две нейронные сети: первая генерирует результат на основе обучающих данных, а вторая оценивает его. По сути, модели соревнуются друг с другом: генератор пытается обмануть дискриминатор, а дискриминатор учится выявлять искусственно созданные данные. Это позволяет оптимизировать результаты без участия человека, однако GAN лучше подходят для узких задач, чем для общего ИИ.
Галлюцинации — это термин индустрии, обозначающий генерацию ИИ некорректной или выдуманной информации. Это серьезная проблема качества: галлюцинации вводят в заблуждение и могут нести риски в реальной жизни (например, вредные медицинские советы). Считается, что проблема возникает из-за пробелов в обучающих данных. Это стимулирует переход к специализированным и вертикальным ИИ-моделям, требующим более узкой экспертизы, чтобы сократить риски дезинформации.
Процесс вывода
Инференс (вывод) — это процесс эксплуатации обученной ИИ-модели, в ходе которого она делает прогнозы или выводы на основе ранее изученных данных. Важно понимать, что инференс невозможен без предварительного обучения: модель должна выявить паттерны, прежде чем эффективно их экстраполировать. Выполнение вывода возможно на широком спектре оборудования — от процессоров смартфонов до мощных GPU и специализированных ИИ-ускорителей, хотя эффективность работы моделей на них различается.
Большие языковые модели и принципы работы ИИ
Для предсказаний на основе очень больших моделей могут потребоваться огромные временные затраты, если использовать обычный ноутбук вместо облачного сервера с высокопроизводительными ИИ-чипами. Большие языковые модели (LLM) — это разновидность ИИ-моделей, которые лежат в основе популярных ассистентов, таких как ChatGPT, Claude, Google Gemini, Meta Llama, Microsoft Copilot или Mistral Le Chat.
При общении с ИИ-ассистентом пользователь взаимодействует с большой языковой моделью, которая обрабатывает запрос напрямую или с помощью различных доступных инструментов, например, веб-поиска или интерпретаторов кода. LLM представляют собой глубокие нейронные сети, состоящие из миллиардов числовых параметров (или весов), которые обучаются выявлять связи между словами и фразами, создавая своего рода многомерную карту языка. Эти модели создаются путем кодирования закономерностей, найденных в миллиардах книг, статей и расшифровок.
Оптимизация работы моделей
Когда вы отправляете запрос к LLM, модель генерирует наиболее вероятную последовательность, соответствующую данному запросу. Важным процессом, ускоряющим инференс (процесс генерации ответа на запрос пользователя), является кэширование памяти. По своей сути кэширование — это метод оптимизации, предназначенный для повышения эффективности инференса. Поскольку работа ИИ основана на интенсивных математических вычислениях, потребляющих много энергии, кэширование позволяет сократить количество операций, сохраняя промежуточные результаты для будущих запросов пользователей.
Одной из наиболее известных разновидностей является KV-кэширование (key-value caching). Оно применяется в трансформерных моделях, повышая их эффективность и ускоряя получение результатов за счет снижения временных и алгоритмических затрат, необходимых для формирования ответов.
Стандарты и архитектуры
Model Context Protocol (MCP) — это открытый стандарт, позволяющий ИИ-моделям подключаться к внешним инструментам и данным (вашим файлам, базам данных или приложениям вроде Slack и Google Drive) без необходимости написания разработчиком индивидуального коннектора для каждого соединения. Его можно сравнить с USB-C портом для ИИ. Компания Anthropic представила MCP в 2024 году, а затем передала его в ведение Linux Foundation. С тех пор стандарт был внедрен OpenAI, Google и Microsoft, став одним из самых быстро распространяющихся в истории ИИ.
Mixture of Experts (MoE) — это архитектура модели, которая разделяет нейронную сеть на множество специализированных подсетей или «экспертов», активируя лишь некоторые из них для выполнения конкретной задачи. Вместо прогона каждого запроса через всю модель (как если бы вы вызывали весь офис для ответа на один вопрос), MoE использует встроенный «маршрутизатор», выбирающий наиболее подходящих специалистов. Это позволяет создавать колоссальные модели, сохраняющие быстродействие и экономичность, так как в любой момент времени работает лишь часть сети. Примером служит модель Mixtral от Mistral AI; также считается, что новые модели GPT от OpenAI используют подобный подход, хотя компания никогда не подтверждала это официально.
Нейронные сети и феномен «нейронного языка»
Нейронная сеть — это многоуровневая алгоритмическая структура, лежащая в основе глубокого обучения и всего бума генеративных ИИ-инструментов, последовавшего за появлением больших языковых моделей. Хотя концепция копирования плотных взаимосвязанных путей человеческого мозга как структуры для алгоритмов обработки данных зародилась еще в 1940-х годах, именно развитие графических процессоров (GPU) — ставшее возможным благодаря индустрии видеоигр — раскрыло потенциал этой теории. Данные чипы оказались идеально приспособлены для обучения алгоритмов с гораздо большим количеством слоев, что позволило нейросетевым ИИ-системам добиться значительно лучших результатов во многих областях, включая распознавание голоса, автономную навигацию и разработку лекарств.
В противовес этому существует гипотетический сценарий «нейронного языка» (neuralese) — ситуация, в которой модель рассуждает исключительно внутренними числовыми представлениями, а не человекочитаемым языком, превращая свое мышление в полный «черный ящик». На сегодняшний день ни одна выпущенная модель этого не делает. OpenAI заявляла, что их модель Astra (выпущенная в сентябре 2026 года и примечательная ранним использованием техники «непрозрачной рекуррентности») сохраняет цепочку рассуждений понятной, и отвергала сравнения с «нейронным языком». Однако исследователи безопасности указывают на использование Astra «непрозрачной рекуррентности» как на первый шаг в данном направлении — именно поэтому термин стал так часто упоминаться после запуска Astra.
Непрозрачная рекуррентность (opaque recurrence) — это процесс, при котором ИИ-модель многократно прогоняет один и тот же запрос через внутренние слои, вместо того чтобы рассуждать пошагово на понятном языке.
Особенности функционирования и ключевые вызовы современной индустрии ИИ
Более эффективные подходы позволяют компактным моделям демонстрировать результаты, превосходящие их фактические возможности, при меньших затратах вычислительных мощностей. Однако при этом остается гораздо меньше «читаемых» следов, чем при использовании стандартной цепочки рассуждений (chain of thought) — последовательного комментария, который пользователь видит после запроса к чат-боту. Это вызывает беспокойство у специалистов по безопасности, так как подобные логи являются важным инструментом для выявления некорректного поведения ИИ, а новая техника может значительно усложнить процесс надзора.
Различия подходов к разработке: Open Source и Closed Source
Термин Open Source относится к программному обеспечению или ИИ-моделям, чей исходный код находится в публичном доступе для ознакомления, использования или модификации. Ярким примером в сфере ИИ является семейство моделей Llama от Meta, а исторической параллелью в мире операционных систем — Linux. Открытые подходы позволяют исследователям и разработчикам по всему миру развивать проекты друг друга, ускоряя прогресс и обеспечивая независимый аудит безопасности, который труднодоступен для закрытых систем.
Closed Source означает, что код остается приватным: пользователь может применять продукт, но не видит принципов его работы. Примером такой модели являются GPT-системы от OpenAI. Это различие стало одной из определяющих тем для дискуссий в индустрии ИИ.
Параллелизация как основа масштабируемости
Параллелизация — это выполнение множества задач одновременно, а не последовательно (аналогично 10 сотрудникам, работающим над разными частями проекта вместо одного человека, делающего всё по очереди). В области ИИ параллелизация фундаментальна как для обучения, так и для инференса: современные графические процессоры (GPU) специально спроектированы для выполнения тысяч вычислений параллельно, что сделало их аппаратным стержнем индустрии.
По мере роста сложности ИИ и увеличения масштабов моделей способность распределять работу между множеством чипов и серверов становится критическим фактором, определяющим скорость и экономическую эффективность создания и развертывания технологий. Исследования в области совершенствования стратегий параллелизации сегодня стали отдельной научной дисциплиной.
Кризис оперативной памяти: феномен RAMageddon
RAMageddon — это меткий термин для обозначения негативного тренда в технологической индустрии: постоянного дефицита чипов оперативной памяти (RAM), на которых базируется практически вся современная электроника. По мере расцвета ИИ-отрасли крупнейшие технологические компании и лаборатории, конкурирующие за создание наиболее мощных и эффективных систем, скупают такие объемы памяти для своих дата-центров, что на остальной рынок ее практически не остается. Образовавшийся дефицит предложения ведет к росту цен.
Эта ситуация затрагивает различные отрасли:
- Игровой сектор: крупные компании вынуждены повышать цены на консоли из-за сложности поиска чипов памяти.
- Потребительская электроника: дефицит может спровоцировать самое резкое падение поставок смартфонов за последнее десятилетие.
- Корпоративные вычисления: компании сталкиваются с невозможностью закупить достаточное количество RAM для собственных нужд.
Ожидается, что рост цен прекратится только после завершения дефицита, однако на данный момент признаков скорого разрешения ситуации нет.
Рекурсивное самосовершенствование
Термин «рекурсивная глубина» (recurrent depth) является инженерным названием метода, который в СМИ часто называют «непрозрачной рекурсией» (opaque recurrence) — это многократное прохождение запроса через слои модели вместо последовательных языковых рассуждений. Хотя эти термины используются почти как синонимы, «рекурсивная глубина» подчеркивает техническую составляющую, а «непрозрачная рекурсия» — риски для безопасности.
Рекурсивное самосовершенствование (RSI), подобно понятию AGI, является пороговой характеристикой интеллекта ИИ и степени его зависимости от людей. В сценарии RSI модели начинают улучшать себя без участия человека, что ведет к резкому ускорению возможностей и автономии. В некоторых версиях это описывается как катастрофический момент, сравнимый с технологической сингулярностью, когда ИИ становится неуязвимым для внешнего вмешательства. Тем не менее, RSI также описывает базовую способность — проектирование моделью собственного преемника, — что упрощает задачу для инженеров. Ряд ИИ-стартапов уже работают над созданием моделей с функцией самосовершенствования, в большинстве своем игнорируя апокалиптические прогнозы и рассматривая RSI как следующий горизонт исследований.
Обучение с подкреплением
Обучение с подкреплением (reinforcement learning) — метод обучения ИИ, при котором система познает мир через попытки и получение «наград» за правильные ответы. Это напоминает дрессировку питомца с использованием лакомства, где роль «питомца» играет нейросеть, а роль «лакомства» — математический сигнал успеха. В отличие от обучения с учителем, где модель тренируется на фиксированном наборе размеченных данных, обучение с подкреплением позволяет модели изучать среду, совершать действия и непрерывно обновлять свое поведение на основе полученной обратной связи. Этот подход доказал высокую эффективность в обучении ИИ играм, управлению роботами и, в последнее время, в оттачивании навыков логического мышления у больших языковых моделей.
Технологии обучения и оценки нейросетей
Методы вроде обучения с подкреплением на основе отзывов людей (RLHF) в настоящее время занимают центральное место в процессе донастройки передовых моделей ИИ для повышения их полезности, точности и безопасности. Взаимодействие человека и машины сталкивается с очевидной проблемой: люди общаются на естественном языке, в то время как алгоритмы ИИ выполняют задачи через сложные вычислительные процессы, основанные на данных. Мостом в этом общении выступают токены — базовые единицы данных, которые обрабатываются или создаются большой языковой моделью (LLM).
Токенизация и пропускная способность
Токены возникают в процессе токенизации, разбивающей исходный текст на компактные фрагменты, понятные языковой модели — подобно тому, как компилятор переводит человеческий язык в двоичный код. В корпоративном секторе токены также определяют стоимость: большинство компаний взимают плату за использование LLM исходя из объема потребленных токенов. По сути, это небольшие фрагменты текста (часто части слов), которые для оценки рабочих нагрузок ИИ можно считать аналогом обычных слов.
Пропускная способность токенов — это показатель того, какой объем работы система способна выполнить за определенный период времени. Высокая пропускная способность является ключевой целью для инфраструктурных команд, так как от нее зависит количество одновременно обслуживаемых пользователей и скорость генерации ответов. Исследователь Андрей Карпатый отмечал, что испытывает тревогу, когда его подписки на ИИ простаивают, сравнивая это с чувствами аспиранта, у которого дорогое компьютерное оборудование не используется на полную мощность. Именно это отношение объясняет, почему максимизация пропускной способности токенов стала своего рода одержимостью в данной области.
Обучение моделей и параметры
Обучение — это процесс подачи данных в систему, позволяющий модели изучать закономерности и генерировать полезные результаты. По сути, модель адаптирует свои выходы под поставленную цель — будь то распознавание изображений кошек или написание хайку по запросу. Поскольку обучение требует огромных объемов входных данных, требующих постоянного роста затрат, компании используют гибридные подходы, такие как донастройка (fine-tuning) ИИ на целевых данных, что позволяет управлять расходами без обучения с нуля.
Перенос обучения (transfer learning) — это метод, при котором ранее обученная модель служит отправной точкой для разработки решения новой, но обычно смежной задачи, что позволяет повторно использовать знания, полученные в предыдущих циклах. Это повышает эффективность и экономит ресурсы, особенно при ограниченном объеме данных для новой задачи. Однако у подхода есть ограничения: модели, полагающиеся на перенос обучения для получения общих навыков, часто требуют дообучения на дополнительных данных для качественной работы в конкретной области.
Контроль качества и веса
Валидационная потеря (validation loss) — это числовой показатель того, насколько эффективно модель обучается: чем ниже значение, тем лучше. Исследователи отслеживают этот «табель успеваемости» в реальном времени, чтобы принимать решения о прекращении обучения, настройке гиперпараметров или поиске потенциальных проблем. Один из важнейших рисков здесь — переобучение (overfitting), при котором модель запоминает данные, вместо того чтобы усваивать закономерности для новых ситуаций. Это можно сравнить с разницей между студентом, который глубоко понимает материал, и тем, кто просто зазубрил прошлогодние экзаменационные билеты.
Веса (weights) играют ключевую роль в обучении: они определяют важность различных переменных в данных и формируют выходные параметры модели. Это численные параметры, которые посредством умножения на входы определяют, что является наиболее значимым для выполнения задачи. Процесс обучения обычно начинается со случайных весов, которые затем корректируются, пока результат модели не приблизится к целевому значению. Например, ИИ для прогнозирования цен на недвижимость, обученный на исторических данных, может присваивать разные веса количеству спален, наличию парковки или гаража. Итоговые веса для каждого фактора отражают их реальное влияние на стоимость объекта согласно заданному набору данных.
Обновление контента
Данная статья подвергается регулярному обновлению по мере поступления новой актуальной информации.
Дополнительные факты и детали
AGI (Сильный искусственный интеллект)
Стоит отметить, что Google DeepMind при определении AGI фокусируется на способности системы демонстрировать когнитивные навыки, как минимум не уступающие человеческим в большинстве интеллектуальных задач.
AI-агент
Важно учитывать, что «AI-агент» — термин не устоявшийся, и его значение может варьироваться в зависимости от контекста. Кроме того, текущая инфраструктура для реализации полноценной агентности еще находится в стадии активного проектирования.
Chain-of-thought (Цепочка рассуждений)
Понимание того, почему это важно: обычному человеку для ответа на вопрос с промежуточными действиями (например, математическую задачу) часто требуется «бумага и ручка». Аналогично, LLM разбивают задачу на мелкие шаги, что увеличивает время генерации, но критически важно для точности в логических и программных задачах.
Глубокое обучение (Deep Learning)
Эта структура позволяет алгоритмам не только обучаться, но и самостоятельно улучшать свои выходы через повторяющиеся циклы корректировок. Главным барьером для развития таких систем является необходимость в колоссальных объемах данных (миллионы точек и более) и высокие финансовые затраты из-за длительного цикла обучения.
Диффузия (Diffusion)
Метод черпает вдохновение в физических процессах, где структура данных «разрушается» путем добавления шума. В ИИ ключевым достижением является обучение системы «обратной диффузии» — процессу, позволяющему восстановить исходные данные из хаотичного шума.
Дистилляция (Distillation)
Помимо внутренних нужд разработчиков, дистилляция от моделей конкурентов часто рассматривается как нарушение условий использования API. Этот метод минимизирует потерю знаний при переходе от «учителя» к более компактному «студенту».
Инференс (Inference)
Модель не может выполнять инференс без предварительного обучения на паттернах. При этом эффективность инференса напрямую зависит от «железа»: запуск сверхкрупных моделей на потребительском ноутбуке будет крайне медленным по сравнению с облачными серверами, оснащенными специализированными ускорителями.
Кэширование памяти
Оптимизация инференса через кэширование, в частности использование KV (key-value) кэша, позволяет снизить объем вычислительной нагрузки на каждом этапе генерации ответа, что ускоряет работу трансформерных моделей.
Mixture of Experts (MoE)
Хотя OpenAI официально не подтверждала архитектуру своих новых моделей GPT, в индустрии широко распространено мнение, что они используют именно этот подход для достижения баланса между мощностью и стоимостью эксплуатации.
Параллелизация
Исследования в этой области стали самостоятельной научной дисциплиной. Способность эффективно распределять нагрузку между множеством чипов — один из главных факторов, влияющих на себестоимость и время развертывания современных моделей.
Перенос обучения (Transfer learning)
Метод позволяет «срезать углы» при разработке, переиспользуя знания из предыдущих циклов. Однако для того чтобы модель, обученная на общих данных, эффективно работала в узкой нише, почти всегда требуется дополнительное обучение на специализированных наборах данных.
