Стало известно, что наемные работники, привлеченные Microsoft для оценки качества работы графического редактора Copilot, получают доступ к конфиденциальным данным пользователей. Согласно внутренней документации, в распоряжении подрядчиков оказываются оригиналы загруженных изображений, текстовые промпты и результаты обработки, выполненные искусственным интеллектом.
Оценка качества вместо модерации контента
Основная задача этих специалистов заключается не в модерации или выявлении нарушений, а в проверке того, насколько точно нейросеть выполнила поставленную задачу. В рамках типичного рабочего задания подрядчик получает исходный файл, запрос пользователя и два варианта изменений, созданных алгоритмом. Специалист должен сравнить их и определить, какой из вариантов лучше соответствует инструкции. Оценка проводится по четырем критериям: точность выполнения редактирования, сохранение исходных элементов изображения, отсутствие визуальных дефектов и общее качество результата.
В инструкциях, доступных подрядчикам, акцент делается на субъективном восприятии. Контрагентам рекомендуется доверять своей интуиции при сравнении изображений. Как гласят методические указания, «первое впечатление» и «интуитивная реакция человека» позволяют заметить тонкие различия в качестве, которые трудно описать формализованными критериями.
Доступ к шокирующему и откровенному материалу
Несмотря на технический характер оценки, многие задания выходят далеко за рамки простых правок изображений. Контрактные работники сообщают, что им регулярно приходится просматривать контент сексуального характера, сцены насилия или материалы, вызывающие беспокойство. Среди примеров, упоминаемых в документах и отзывах сотрудников, встречаются запросы на изменение анатомических особенностей тел, создание откровенных поз, съемки формата «апскерт» (скрытая съемка под одеждой), а также материалы, пропагандирующие анорексию или фетишизацию персонажей мультфильмов.
Один из привлеченных к работе специалистов на условиях анонимности рассказал, что лица на изображениях остаются неотцензурированными, а многие запросы пользователей носят сомнительный или откровенно порнографический характер. «Трудно относиться к работе серьезно, когда основной задачей становится определение того, какая модель лучше справилась с подбором подходящего размера бюста или корректным размещением женщины в сексуально вызывающей позе», — поделился один из сотрудников на внутреннем форуме.
Роль сторонних компаний и позиция Microsoft
По имеющимся данным, в процессе участвуют сотни подрядчиков. Одной из компаний, занимающихся наймом специалистов для подобных задач, является Prolific. В их собственных руководствах для персонала признается, что работа с генеративным ИИ может подвергнуть сотрудников воздействию контента, который исследователи изначально не планировали включать в выборку. Компания Prolific не предоставила комментариев изданию 404 Media.
Представитель Microsoft в ответ на запрос заявил, что компания использует данные клиентов в соответствии с утвержденными условиями использования, которые включают улучшение продуктов и соблюдение кодекса поведения. В отличие от стандартной модерации контента, где цель заключается в блокировке опасных материалов, текущие задания направлены исключительно на повышение точности, последовательности и способности нейросети следовать инструкциям пользователя в графическом редакторе.
Методика оценки и риски психологического воздействия
Процесс анализа результатов работы нейросети жестко структурирован, однако оставляет значительное пространство для личного суждения. В качестве наглядного примера в инструкциях приводится запрос на добавление чашки на стол: подрядчик должен оценить, появилось ли на изображении именно это дополнение и остались ли все остальные элементы кадра неизменными. Тем не менее, когда дело доходит до неоднозначных или этически спорных запросов, сотрудники часто сталкиваются с неподготовленностью системы к фильтрации подобных данных.
Проблема усугубляется тем, что многие рецензенты открывают задание, не зная заранее, какой контент будет в него включен. Один из контракторов в ходе переписки на внутреннем ресурсе признался, что при виде набора из восьми «апскерт-фотографий» немедленно запросил добавление предупреждения об опасном контенте (unsafe-content warning). Другой специалист поделился своим эмоциональным состоянием, употребив слово «содрогнулся» (recoiled) при столкновении с материалами, пропагандирующими анорексию. Также в рабочих чатах всплывали упоминания о генерациях, включающих сцены жертвоприношений животных.
Важно отметить, что текущая деятельность подрядчиков кардинально отличается от классической модерации, принятой в ИТ-отрасли. Если штатные модераторы призваны удалять запрещенный контент и ограждать пользователей от него, то перед оценщиками Microsoft поставлена иная цель: помочь алгоритму научиться лучше понимать сложные, а порой и деструктивные пользовательские интенции. Таким образом, человеческий ресурс используется не для ограничения функционала Copilot, а для его «тонкой настройки» (preference tuning), что фактически делает наемных работников соучастниками обучения модели на специфических, зачастую сомнительных массивах данных.
