«Надеюсь, скоро упадет метеорит»: разработчики игр об охоте на «ИИ-ведьм» и визуальной грамотности

Эпоха «охоты на ведьм» и обвинений в генеративном ИИ

Эпоха генеративного ИИ породила настоящую «охоту на ведьм». Сейчас видеоразработчикам приходится регулярно отбиваться от обвинений в использовании этой технологии, даже если они открыто и всецело ее не одобряют, выступая против ChatGPT, Claude и подобных им систем.

Среди недавних примеров можно назвать 2D-симулятор фабрики Sandustry от издательства Hooded Horse со странной, завораживающей физикой, а также недавно анонсированную игру Humankind 2, создатели которой из студии Amplitude поспешили заверить игроков, что их анонсирующий трейлер представляет собой подлинную игроку живую съемку (live action).

Подобные обсуждения отражают меняющееся представление о том, «как выглядит» контент, созданный искусственным интеллектом. Это представление меняется потому, что у сгенерированных ИИ изображений, строго говоря, нет фиксированного стиля или качества. Они формируются на основе тех данных, которые «скормили» конкретной модели. Путаница усугубляется тем, что технология постоянно меняется, а в общую кучу добавляются все новые или обновленные инструменты с модными словечками. Устоявшиеся признаки сгенерированных изображений устаревают очень быстро.

В то же время сторонники генеративного ИИ только мутят воду: они смешивают разные инструменты и описывают возможности технологий в безумно расплывчатых выражениях, рассчитанных на привлечение инвесторов. Тем не менее, определенная доля ответственности лежит и на обычных пользователях, которые привыкли бездумно бросаться обвинениями в «ИИ-халтуре» (AI slop).

Личный опыт разработчиков и борьба с ложными обвинениями

В течение последних нескольких недель автор общался с разработчиками игр и художниками, которых ошибочно обвинили в использовании генеративного ИИ (в частности, для создания визуального искусства), а также пытался понять, почему именно их изображения и видео вызывают подозрения. Это путешествие оказалось забавным, порой депрессивным, а временами и вдохновляющим.

Сложность мгновенного распознавания сгенерированных изображений — это политический и социальный приоритет, выходящий далеко за рамки видеоигр. Подделки на базе генеративного ИИ регулярно используются для манипулирования людьми и разжигания заговоров, включая расистские и ксенофобские нарративы о «великом замещении». Нам необходимо научиться лучше распознавать шарлатанов в своем окружении.

Но с более позитивной точки зрения, обучение навыкам выявления генеративного ИИ также является способом повышения своей визуальной и технической грамотности. Это процесс более тесного знакомства с искусством, которое нас очаровывает.

Ситуация со студией Failbetter

Ханна Флинн, директор по коммуникациям студии Failbetter, выпустившей Fallen London и Sunless Skies, привыкла к критикам в сети. В своем письме она отмечает: «Большая часть моей работы связана с тем, чтобы знакомить новых людей с нашими играми. Успех моих усилий означает привлечение внимания к нам, что всегда было палкой о двух концах (я благодарна, что прошло уже много времени с тех пор, как кто-то просил у меня фото ног, хотя я боюсь, что это может повториться)».

Однако новым явлением стало то, что если какое-то видео широко распространяется или студия делает крупный анонс, им гарантированно задают вопрос о том, используют ли они генеративный ИИ. На сайте своей флагманской текстовой игры Fallen London компания Failbetter разместила официальное заявление, полностью отрекаясь от любого использования генеративного ИИ в своих проектах.

Ханна Флинн продолжает: «Часть комментариев отражает искреннюю обеспокоенность нашего сообщества, члены которого, возможно, читали наше заявление об ИИ и переживают, не нарушили ли мы его или не нарушили ли случайно». Она добавляет, что ей не трудно лично успокоить сообщество: оставляя в стороне оговорки о качестве результатов работы генеративного ИИ, сотрудники студии получают огромное удовольствие от своего ремесла, и никто здесь не собирается менять карьеру ради роли «дрессировщика ИИ».

Гораздо больше ее беспокоят «случайные прохожие в социальных сетях, которые, судя по всему, совершенно не заинтересованы ни в наших играх, ни в самой студии».

Опыт New Blood Interactive

Генеральный директор New Blood Interactive Дэвид Ошри также был вынужден отбиваться от обвинений в использовании генеративного ИИ. В отношении готовящегося многообещающего хоррора Tenebris Somnia, сочетающего вид сверху в пиксель-арте с живыми видеосъемками, компания New Blood в конечном итоге создала закулисное видео, демонстрирующее процесс создания реквизита. Это было сделано для того, чтобы пресечь заявления о том, что материалы якобы были сгенерированы чат-ботом.

Автор написал Ошри по электронной почте, чтобы узнать, было ли это превентивным шагом или ответом на конкретные обвинения. «ПОСМОТРИТЕ НА КОММЕНТАРИИ И САМИ СКАЖИТЕ», — ответил он, поделившись ссылками на предыдущие видео.

По словам Ошри, обвинения в адрес генеративного ИИ стали «практически непрекращающимися» при публикации кадров из игр New Blood в социальных сетях, особенно в Instagram. Это досадно, учитывая, что он никогда не скрывал своего презрения к технологиям вроде масштабирования Nvidia DLSS 5. «И мы заметили, что это происходит только в самое последнее время, — продолжил Ошри. — Еще год назад мы видели очень мало подобного, в основном люди просто говорили: «Ого, это выглядит так круто!»»

На вопрос, есть ли у него соображения, почему именно пользователи Instagram более склонны к такому поведению, он ответил: «Я думаю, что платформы коротких видео вроде Instagram и TikTok реально поджарили людям мозги».

Тем не менее, Ошри относится к подозрениям стоически, отмечая, что подобный фидбек в итоге пошел New Blood на пользу: «Вся эта активность увеличила количество добавлений в списки желаемого (15 тысяч за последнюю неделю), хотя это и немного утомительно».

Реакция разработчиков на ложные обвинения в использовании генеративного ИИ

Как и в случае с проектами Failbetter, значительная доля отзывов поступает от случайных комментаторов, и более преданные поклонники New Blood встают на их защиту. «Как вы можете видеть в комментариях, люди быстро встают на защиту нас и игры и расставляют все точки над i», — продолжает Ошри. «Но мы бы предпочли создавать крутой контент ОБ ИГРЕ, а не делать контент, доказывающий, что это НЕ ИИ-халтура. Дела обстоят именно так».

Даже когда обвинения необоснованны, некоторые студии предпочитают изменить свой арт, чем разбираться с тлеющим недоверием. Например, Abandoned Sheep — это разработчики Schrodinger’s Cat Burglar, игры о саморазмножающемся коте, который перемещается по лабиринту испытательных камер в стиле Portal. Одна из старых ключевых иллюстраций игры, показанная справа, неоднократно подвергалась обвинениям в том, что она сгенерирована искусственным интеллектом, как рассказывает мне директор студии и бывший разработчик Jagex и Sony Cambridge Мартин Бинфилд. «Эта работа написана от руки местным художником Томом Уильямсом (как и нынешний ключевой арт) и была создана в середине 2022 года — задолго до того, как генеративный ИИ научился создавать работы такого уровня», — говорит он.

Практичные решения и мнения разработчиков

Тем не менее, в Abandoned Sheep в итоге сочли более практичным заменить рисунок, чем давать отпор подозрениям, тем более что спустя четыре года арт нуждался в обновлении. «Честно говоря, я не держу зла на этих комментаторов за их бдительность», — комментирует Бинфилд. «Мы как студия никогда не использовали и никогда не будем использовать генеративный ИИ, и я как геймер тоже ненавижу мысль о том, что он может фигурировать в игре, в которую я хочу сыграть. У комментаторов позиции «ИИ-арт? Никакой покупки» сердца находятся на правильном месте».

Все вышеперечисленные игры и произведения искусства выглядят совершенно по-разному, и возникает искушение развести руками и сказать, что в некоторых обвинениях нет никакой логики или причин. «Честно говоря, я понятия не имею», — говорит Дэвид Ошри из Tenebris Somnia с присущей ему категоричностью. «Я думаю, люди, возможно, действительно забыли или слишком молоды, чтобы знать о практическом гриме монстров и визуальных эффектах, и думают, что сейчас всё либо выполнено в стиле CGI от Marvel, либо создано с помощью ИИ??? Это приводит в недоумение. Потому что, как человек, который видит тонны ИИ-халтуры в интернете каждый день, Tenebris Somnia точно не имеет «такого» вида. Или по крайней мере мы так думали!»

На вопрос, есть ли у него мысли по поводу того, какой тип игры или эстетики ошибочно принимают за ИИ, он добавляет: «Я очень старомоден, не слежу за всей этой фигней и стараюсь ею не увлекаться! Я видел, как люди говорят, что GTA 6 сегодня выглядит как бездушная ИИ-халтура, так что я думаю, мы все просто явно потеряли рассудок, и надеюсь, метеорит скоро врежется в землю».

Стилистика и причины ошибочных подозрений

Ханна Флинн настроена, пожалуй, чуть более оптимистично, чем Ошри. Она размышляет о том, что «живописный художественный стиль» Failbetter может восприниматься как сгенерированный, как и ее склонность к восхитительно «аберрантным» телам, которые напоминают расчлененные конечности и узловатые пропорции фотореализма от чуть более старой разновидности генеративного ИИ. «Часто отмечают, что изображения, созданные ИИ, обучаются на классических стилях, что оборачивается против вас, когда вы используете классический стиль для создания вручную», — говорит она.

«И справедливости ради, мы известны своими лавкрафтианскими ужасами — некоторые из наших произведений искусства действительно содержат слишком много глаз или пальцев, но я обещаю, что это сделано намеренно!» Флинн добавляет, что дискуссия об искусственном интеллекте в некотором смысле вдохновляет. «Смысл созданных вещей — это своего рода подтема» текущего проекта Failbetter под названием Mandrake, фольклорного симулятора садоводства в стиле Stardew, наделенного привычным для студии сочетанием причудливого и макабрического. «Это кажется уместным для обсуждения, — говорит она, — и, возможно, приводит к тому, что еще больше людей рассказывают об этом!» Не играя в Mandrake, я не могу полностью вдаваться в подробности, но это, безусловно, вызывает у меня любопытство попробовать.

Если визуальные ошибки создают почву для подозрений, то же самое может делать и безупречное исполнение. «Судя по комментариям, казалось, что работа «неестественно отполирована»», — говорит Мартин Бинфилд об иллюстрации для Schrodinger’s Cat Burglar. «Я предполагаю, что такие вещи, как аэрография и отражения в глазу кота, были аспектами, которые завели людей, поскольку в целом на картине хватает грубых мазков кистью».

«Мне кажется, это ситуация в духе «проклятия успехом» — арт Тома был супер отполированным и высококачественным, и можно предположить, что генеративный ИИ просто украл самое высококачественное произведение искусства для своего алгоритмического ведра с помоями. В некоторых случаях обвинение в том, что ты — ИИ, — это обвинение в том, что ты «слишком хорош, чтобы быть правдой»».

«Конечно, в других случаях обвинения в использовании ИИ возникают из-за неправильного подсчета пальцев, но тем не менее, — добавляет Бинфилд. — В одном комментарии говорилось, что у кота не хватает зубов — не знаю, какие именно зубы, по их мнению, отсутствовали, да кот вряд ли анатомически корректен. Я думаю, главной тенденцией в реакциях, которую я заметил, было абсолютное чувство собственной правоты. Это редко был вопрос (например, «это ИИ?») и гораздо чаще утверждение («никаких продаж, пока вы не избавитесь от ИИ»)».

Борьба с ложными обвинениями в генерации контента

Автор объясняет подобные ситуации общей заносчивостью комментаторов в интернете. В тех случаях, когда он отвечал злопыхателям и подчеркивал, что команда не использует искусственный интеллект, те обычно писали: «Рады это слышать! Извините, что ошиблись!». Размышляя об этом, журналист шутит: «Для следующей игры я нарисую ключевой арт мелками левой рукой, чтобы было очевидно, что он сделан человеком…».

Общаясь с разработчиками о том, как их работы были неверно истолкованы, автор задумался о собственной визуальной грамотности и чувствительности к признакам генерации. Он признается, что недавно сам опозорился, допустив ошибку в статье об ASCII-хорроре The Carcass, и с тех пор занялся поиском ресурсов для оттачивания этого навыка.

Академическое исследование и тесты на определение ИИ

Одним из лучших инструментов оказался академический опрос, созданный иллюстратором настольных игр и книг Янной Софией Коппенваллнер. Тест предлагает пользователю отделить подделку от оригиналов в коллекции книжных обложек, архивных фотографий, снимков из новостных трансляций и более абстрактного изобразительного искусства.

В процессе прохождения система выдает полезные советы и указывает на ошибки, за которыми стоит следить: например, на кожу с характерным лавкрафтианским блеском, а также на контекстуальные маркеры вроде дефицита биографических деталей о создателе.

Фактически Коппенваллнер пишет магистерскую диссертацию о точности определения человеком изображений, созданных искусственным интеллектом. В переписке по электронной почте она рассказала:

«Перед тем как выбрать тему, я немного изучила вопрос человеческого детектирования ИИ и нашла множество исследований, утверждавших, что этот показатель не превышает случайного угадывания. Думаю, какая-то часть меня не хотела в это верить».

Автор подчеркивает, что анализ данных Коппенваллнер еще продолжается, он не прошел рецензирование, и для окончательных выводов требуются дополнительные исследования. К ее предварительным результатам стоит относиться с изрядной долей скептицизма.

Тем не менее, промежуточные выводы интригуют и немного удручают. «Собранные мной данные показывают среднюю точность распознавания на уровне 74%. Выяснилось, что люди, прошедшие короткий обучающий модуль, справились даже чуть хуже тех, кто его не проходил», — отмечает исследовательница. По ее словам, реальная разница оказалась «весьма маргинальной», хотя и статистически значимой. «Судя по тому, что мне удалось выяснить на данный момент, люди стали излишне подозрительными и переусердствовали, ошибочно принимая реальные фото и произведения искусства за творения ИИ», — констатирует Коппенваллнер.

Именно с этим столкнулся сам журналист при прохождении опроса, допустив больше ложноположительных срабатываний, чем промахов.

Популярные стили и особенности ошибок

Саму Янну никогда не обвиняли в использовании генеративного ИИ. Отчасти это связано с тем, что она публикует свои работы в сети на протяжении 15 лет, благодаря чему накопилось предостаточно доказательств ее мастерства. По ее мнению, художникам, которые только начинают свой путь сегодня, «может быть намного труднее».

Журналиста также интересовало, подвержено ли любительское искусство с явными изъянами большему риску ошибочного клейма ИИ, и существуют ли художественные традиции или стили, изначально вызывающие больше подозрений.

• Данные опроса: прямых цифр на этот счет в исследовании нет.
• Анекдотические наблюдения: Коппенваллнер заметила, что ложным обвинениям в использовании генеративного ИИ чаще подвергались художники с довольно популярными стилями, которые выглядят очень чистыми, детально проработанными и отполированными.

Генеративный ИИ опирается на колоссальные массивы данных, и чем больше информации у модели, тем «лучше» получается результат. Большинство моделей до сих пор не справляются с воспроизведением нишевых художественных стилей просто потому, что для них не хватает данных. Впрочем, в будущем ситуация может измениться, и это во многом зависит от конкретной языковой или визуальной модели ИИ. Дополнительно Коппенваллнер отмечает, что каждая генеративная нейросеть обладает «собственным визуальным языком, который становится заметен только при сравнении большого количества их результатов». Тем не менее, она считает, что тренды на сгенерированные изображения возникают из-за изначальной популярности определенных видов искусства.

Анатомия ошибок: человек против машины

Оценивая риск попадания начинающих авторов под удар, Коппенваллнер предлагает увлекательный анализ различий между «рукотворными» и сгенерированными ошибками:

«Когда речь заходит об ошибках в искусстве, паттерны сбоев у моделей ИИ сильно отличаются от огрехов человеческого художника. ИИ склонен смешивать объекты (например, когда прядь волос внезапно переходит в ожерелье), потому что модель на самом деле не понимает, что она создает, а просто использует алгоритм вероятностей».

Исследовательница добавляет, что начинающие люди обычно испытывают трудности с пропорциями, цветом и освещением (с чем ИИ справляется относительно неплохо), в то время как большинство моделей ИИ пасуют перед задачами, требующими точного принятия решений — например, лайн-артом, мелкими деталями, текстурами и орнаментами (уточняя, что это наблюдение носит сугубо частный характер и не входит в рамки ее диссертации).

В своей анкете Коппенваллнер призывает людей доверять собственной интуиции — тому самому назойливому, невыразимому чувству, что с изображением что-то не так. Однако вслед за Мартином Бинфилдом она напоминает, что ощущение «слишком хорошо, чтобы быть правдой» легко может превратиться в банальную предвзятость. Интуицию необходимо осознанно корректировать через постоянное изучение предмета.

Развитие вкуса, старые технологии машинного обучения и дешумоподавление

Вам необходимо развивать собственный вкус. Как отмечает Копфенвалльнер, существует отличная книга Робина Хогарста об обучении интуиции. Согласно ей, интуиция тренируется посредством обратной связи, но если эта обратная связь неверна, наша интуиция дает сбой. Именно так изначально формируются предрассудки. К сожалению, тренировка правильной интуиции требует надлежащей подготовки и времени для выработки определенного уровня экспертных знаний. Неудивительно, что Копфенвалльнер обнаружила, что коллеги из креативных индустрий справляются с ее тестом лучше, чем люди тех профессий, которые не связаны с созданием визуального искусства или работой с ним. При этом она считает, что большинство интернет-пользователей обладают по крайней мере некоторой пассивной экспертизой в отношении фотографических медиа. Ей еще предстоит провести исследования в этой области, но она полагает, что в среднем люди лучше идентифицируют фотографии, а не произведения искусства, поскольку каждый человек, независимо от профессии, ежедневно сталкивается с потоком фотоснимков. Ранее мы уже обсуждали, как определенные виды искусства могут ошибочно приниматься за созданные искусственным интеллектом.

Еще один уровень дьявольской сложности, заслуживающий отдельной статьи, возникает тогда, когда мы начинаем говорить о некоторых чуть более старых инструментах машинного обучения и способах создания изображений, которые немного пересекаются с тем, что сегодня известно как генеративный ИИ.

Опыт Абду Буама и проблема дешумоподавления

Абду Буам — внештатный художник, чья работа охватывает «понемногу всего»: от пропсов и сцен для 3D-видеоигр до рекламных рендеров продуктов, обучающих видео и других задач, близких к геймдеву. Он вспоминает случай, когда клиент поставил под сомнение некоторые изображения, отправленные на согласование, обратив внимание на размытые и нечеткие участки и поинтересовавшись, не были ли они сгенерированы или отредактированы с помощью ИИ. На самом деле эти дефекты были созданы более старыми методами дешумоподавления.

Буам поясняет, что дешумоподавление представляет собой автоматизированное удаление случайных вариаций и аномалий из изображения. Помимо прочего, оно используется для очистки рендеров — то есть двумерных изображений трехмерных сцен, создаваемых с помощью трассировки лучей. Трассировка лучей — это способ создания физически правдоподобных изображений различных объектов и материалов путем испускания лучей из камеры и их отражения до тех пор, пока они не достигнут источника света, после чего рассчитывается количество света, переданного обратно по пути к камере. Каждое повторение этого процесса называется сэмплом, а готовое изображение получается путем усреднения несоответствий между сэмплами.

По словам Буама, изображение начинается как очень «шумное», но по мере добавления и усреднения новых сэмплов оно сходится к финальному результату, который является физически точным. Единственный способ получить изображение без шума — рендерить его бесконечное время, что очевидно неосуществимо, поэтому лучший подход заключается в рендеринге до тех пор, пока шум не станет настолько низким, что его можно будет отфильтровать с помощью дешумера с минимальной потерей качества или вообще без нее. Возникает вопрос: сколько времени вы можете позволить себе тратить на блуждающие лучи, прежде чем обратиться к дешумеру?

Технические особенности старых алгоритмов

Сложность заключается в том, что изъяны после дешумоподавления могут напоминать симптомы генерации ИИ. По словам Буама, детали теряются, размываются и смазываются, создавая множество артефактов, которые воспринимаются точно так же, как генеративный ИИ. Другая сложность заключается в том, что некоторые инструменты дешумоподавления, такие как Nvidia Optix, впервые выпущенные в 2018 году и используемые во многих видеоиграх с поддержкой трассировки лучей или DLSS, действительно попадают под зонтик «машинного обучения».

Тем не менее, они появились раньше «генеративного ИИ» в его нынешнем понимании, и Буам утверждает, что они не вызывают тех же этических опасений. Вместо того чтобы полагаться на несанкционированно полученные публичные данные, рассматриваемые модели создаются с использованием архивов специально созданных изображений. Как объясняет Буам, они намеренно рендерятся с большим количеством шума, а затем сравниваются с изображениями без шума, на рендеринг которых ушли целые века. Система не обучается на украденных и нелицензированных работах. Даже если бы вы захотели, вы не можете просто взять любую картинку из интернета и обучить на ней модель — необходимо использовать реальную производственную 3D-сцену со всеми создаваемыми ею дополнительными данными.

Эти старые алгоритмы дешумоподавления запускаются локально, а не в дата-центрах, продолжает Буам, и экономят энергию, поскольку радикально сокращают время, необходимое для создания приемлемого рендера. Он также считает, что они не означают утраты художественного контроля. Инструмент не меняет внешний вид сцены, за исключением появления мазков и пятен, если количество сэмплов слишком мало, а сцена сложна для рендеринга. Он не меняет освещение, не «украшает» персонажей в стиле современных нейросетей и не делает ничего подобного. Короче говоря, это по-прежнему его искусство.

Я надеюсь, что все эти идеи и размышления послужат определенным ориентиром при лавировании в бурных водах мира, где генеративный ИИ внедряется во каждую профессию и хобби. Тем не менее, я осознаю, что любые выводы из этой статьи могут вскоре устареть. Технологии продолжают меняться.

Современные реалии распознавания искусственного интеллекта

Сегодняшние сгенерированные инструменты искусственного интеллекта демонстрируют значительно меньше потусторонних мутаций, которые характеризовали первые итерации Midjourney и ChatGPT.

Как отмечает в завершение беседы Коппенваллнер, «чистое визуальное обнаружение становится все сложнее и сложнее, и я думаю, что большинство улик в наши дни кроется в контексте изображения — что именно я вижу, почему я это вижу, может ли быть правдой, что я получу полностью отрисованную картину через два дня за 200 долларов и так далее».

Одно дело — быть осведомленным и защищать себя, но эксперт призывает быть очень и очень осторожными, обвиняя кого-то в использовании искусственного интеллекта лишь на основе одного лишь предчувствия.