Новые поисковые возможности Flock Safety и вопросы безопасности
Новейшие поисковые инструменты компании Flock Safety предоставляют полиции расширенные возможности для поиска людей на видеозаписях, выходя далеко за рамки идентификации лишь автомобильных номеров. Данный функционал является частью программного комплекса, который оказался в центре многочисленных случаев злоупотребления полномочиями со стороны сотрудников правоохранительных органов. Журналисты WIRED проанализировали это ПО и создали макет интерфейса, с которым работают офицеры.
Одним из ключевых инструментов является ИИ-система для работы со списками наблюдения. Она позволяет офицеру выделить определенный район города и запустить непрерывный автоматизированный поиск любого человека, соответствующего заданному текстовому описанию.
Критика и меры по ограничению использования
За последний год компания Flock столкнулась с волной критики. В различных регионах США полицейские управления начали расторгать контракты, а городские советы, ранее одобрившие установку камер, стали скрыто голосовать за их демонтаж. Инцидент в Техасе, где помощник шерифа использовал систему для поиска женщины, сделавшей аборт, среди более чем 83 000 камер, привел к тому, что двое членов Конгресса направили официальный запрос генеральному директору Гарретту Лэнгли. Кроме того, в Иллинойсе было установлено, что компания предоставляла доступ к данным с камер федеральным иммиграционным службам, что является нарушением законодательства штата.
В августе Flock представила пакет изменений: сокращение срока хранения данных по умолчанию, обязательное указание кодов дел для каждого поискового запроса и внедрение автоматизированного аудита для выявления злоупотреблений со стороны офицеров. Компания утверждает, что эти меры станут обязательными к концу текущего года. Однако анализ кода показал, что, хотя предложенные механизмы защиты могут препятствовать некоторым видам злоупотреблений и фиксировать их, они не способны полностью предотвратить неправомерные действия, так как значительная часть процесса управления поиском происходит на серверах самой компании.
Проблемы точности и этики алгоритмов
Эксперты, изучающие системы автоматизированного контроля, отмечают, что Flock доверила своему ИИ задачу, которую ни одна существующая технология не способна выполнять с требуемой надежностью. Система в закрытом от пользователя режиме определяет, какие описания людей допустимы для поиска. Специалисты подчеркивают, что работа ИИ в таких масштабах неизбежно приводит к ошибкам, однако никто за пределами компании не может оценить их частоту и характер. В результате пользователи оказываются в ловушке: сама компания предупреждает, что результаты могут быть неточными или неполными, но перекладывает весь «риск неточностей» на офицера, проводящего поиск.
Особое внимание привлекает алгоритм оценки текстовых описаний. Система классифицирует их по категориям чувствительного контента, включая расовую принадлежность и религию. При этом «политическое, социальное и культурное самовыражение» является единственной категорией, которая не блокирует поисковый запрос. Том Боумен из Центра демократии и технологий отмечает, что эта категория, максимально защищенная Первой поправкой, вызывает у правоохранителей наименьшее беспокойство.
В ответ на детальный запрос WIRED компания заявила, что ее инструменты созданы для поиска релевантной информации «при соблюдении четких мер безопасности». При этом компания не раскрыла архитектуру ИИ-модели, инструкции для ее работы или критерии оценки запросов. Система также отправляет Flock данные о каждом поисковом запросе: использованный текст, категорию, уровень уверенности модели и действия офицера (продолжение поиска, отмена или оспаривание предупреждения). Flock не уточнила, как долго хранятся эти записи и используются ли они для улучшения системы модерации.
Механизмы работы поисковых инструментов
Интерфейс Flock содержит набор инструментов, работающих по различным принципам. В текстовом поиске по изображениям система создает статистический рейтинг соответствия кадров введенным словам. Каждое изображение кодируется набором чисел, описывающих визуальные объекты, и поисковый запрос преобразуется аналогичным образом. Модель сравнивает эти данные и ранжирует результаты.
Функция Smart Sort позволяет офицеру подтверждать или отклонять каждое найденное изображение. После нескольких «голосований» система перестраивает выдачу, поднимая вверх кадры, похожие на одобренные. Если поиск автомобиля позволяет использовать фильтры по цвету, типу кузова, марке или наличию багажника, то поиск человека лишен фильтров и опирается исключительно на письменное описание.
Инструментарий поиска Flock и проблема злоупотреблений в полиции
Функционал системы FreeForm
В качестве примера работы системы Flock приводит запрос «человек в медицинской униформе». Подобный поиск на естественном языке компания называет FreeForm и утверждает, что предлагает его уже несколько лет. В июле издание 404 Media сообщило, что полицейские используют FreeForm для поиска людей по описаниям одежды и татуировок.
По заявлениям Flock, стандартный поиск по автомобилям и FreeForm являются независимыми функциями: первый работает на основе заданных характеристик транспортных средств, а второй — на основе описаний на естественном языке. На видеокамерах FreeForm позволяет искать «одежду, цвета, объекты или другие детали, имеющие отношение к делу». При работе с камерами для считывания номерных знаков функционал ограничен только автомобилями, а поиск по атрибутам личности в этом сегменте невозможен вовсе.
Технические детали и ограничения системы
Код, собранный редакцией WIRED с помощью пользовательского ПО, которое перехватывает файлы, отправляемые Flock в браузер до авторизации, раскрывает логику поисковых запросов офицеров, доступные им элементы управления, предупреждения и принципы формирования последовательных результатов. При этом фактические результаты поиска, потоки с камер, настройки департаментов и сама ИИ-модель, обрабатывающая запросы полиции, остаются на серверах компании и недоступны для анализа.
Собранный код содержит интерфейс пользователя Flock и показывает как сетевые вызовы, так и ожидаемые ответы. Согласно анализу, департаменты пока могут настраивать инструмент для некоторых видов поиска без указания причины или номера дела, связанного с реальным расследованием, а также отключать автоматизированную систему оповещения о подозрительной активности. Flock заявляет, что эти элементы контроля станут обязательными к концу года.
Компания подчеркивает, что история поисковой активности фиксируется в журналах аудита, а обязательные ограничения поиска распространяются на все инструменты системы. Однако в компании не уточнили, будут ли серверы блокировать запросы, поданные без обоснования или номера дела.
Проблема злоупотреблений со стороны правоохранителей
Сотрудники полиции уже используют программное обеспечение Flock для слежки в целях, не связанных с правоохранительной деятельностью. По данным The Washington Post, не менее 50 офицеров в США недавно столкнулись с обвинениями в неправомерном использовании систем считывания номерных знаков, причем 46 из этих случаев связаны с продукцией Flock.
Более чем в половине эпизодов жертвами становились жены, девушки, бывшие партнерши, новые партнеры бывших девушек или женщины, с которыми офицер хотел познакомиться. Отчеты о неправомерном поведении содержат множество подобных примеров: офицер из Милуоки совершил 124 поиска женщины, с которой встречался, и 55 поисков ее бывшего партнера, оформляя каждый запрос как «расследование». Шеф полиции в Джорджии 600 раз искал свою бывшую девушку и ее дочь, после чего был обвинен и спустя пять месяцев покончил с собой. Шеф полиции в Канзасе, не привлеченный к ответственности, совершил 164 запроса по бывшей партнерше и 64 по ее бойфренду, за что был лишен значка. Офицер из Северной Каролины 31 раз искала бывшую жену своего бойфренда, оформив 29 этих поисков как нарушения правил дорожного движения.
Злоупотребление следственными инструментами не является новым явлением. Расследование Associated Press 2016 года показало, что офицеры использовали базы данных для поиска бывших партнеров и привлекательных для них людей. В период с 2013 по 2015 год более 325 сотрудников полиции и государственных ведомств были уволены, отстранены или принуждены к отставке за подобные действия. В 2023 году WIRED сообщил, что сотрудники и подрядчики Иммиграционной и таможенной службы США (ICE) с 2016 года стали фигурантами не менее 414 расследований за неправомерное использование конфиденциальных государственных баз данных. В текущем году были выявлены сотни аналогичных обвинений против сотрудников Таможенно-пограничной службы, которые использовали базы для поиска женщин, слежки за родственниками и отслеживания телефонов коллег.
Системы оповещения и алгоритмы модерации
В ПО Flock предусмотрены две системы уведомлений, ориентированные на людей. Первая — список наблюдения, основанный на поисковых запросах полиции: офицер очерчивает область на карте города, и если модель определяет совпадение с описанием, система отправляет уведомление. Частоту таких оповещений можно регулировать.
Вторая система, People Detection Alert, работает без описаний: офицер выделяет зону в поле зрения конкретной камеры (например, дверной проем или участок тротуара), и получает уведомление при появлении в ней человека. Достаточно одного человека для срабатывания функции. Система не примет настройку оповещения, если вероятность того, что объект является человеком, составляет менее 75%.
В апреле Flock представила систему модерации, заявив, что она разработана для обеспечения защиты прав по Первой поправке. Код, реконструированный WIRED, показывает, что ИИ-модель на серверах Flock оценивает описание человека, составленное офицером, по восьми категориям чувствительного контента до того, как запрос будет выполнен по архивам видеозаписей. На основе оценки достоверности модель выдает один из трех вердиктов: «разрешить», «заблокировать» или «предупредить». Поскольку модель работает на серверах Flock, департамент не видит итоговый показатель достоверности, получая лишь стандартное предупреждение или сообщение о блокировке.
Модерация и ограничения в поиске Flock
Система Flock блокирует поисковые запросы по категориям: раса или этническая принадлежность, религия, национальность, а также «субъективные или предвзятые термины» и «оскорбительный контент». Под последним в коде подразумевается сексуальный контент, двусмысленные фразы, оскорбительные слова и ругательства. В режиме поиска транспортных средств инструмент блокирует любые запросы, связанные с человеком, включая упоминания пола, одежды и поведения.
Религия и национальность являются единственными категориями, для которых предусмотрены оба варианта реакции системы: как полная блокировка, так и предупреждение, позволяющее офицеру продолжить поиск. При этом запросы, касающиеся политического, социального и культурного самовыражения, сопровождаются только предупреждением.
Представители Flock заявили изданию WIRED, что офицеры не могут выполнять поиск по запрещенным атрибутам, таким как религия и национальность, и любая попытка использовать такие термины будет заблокирована. На вопрос о том, при каких обстоятельствах в этих категориях срабатывает предупреждение вместо блокировки, компания не ответила.
Механика предупреждений и контроль
Когда запрос по футболке или наклейке на бампере вызывает предупреждение, так как текст содержит защищенные конституцией высказывания, офицера уведомляют, что поиск будет зафиксирован в журнале, а администраторы получат соответствующее оповещение. После этого сотрудник должен поставить галочку в поле подтверждения и оставить комментарий, прежде чем получить возможность нажать кнопку «Продолжить поиск в любом случае». В Flock утверждают, что такой механизм оставляет пространство для легитимной работы. В качестве примера приводится ситуация, когда жертва описывает подозреваемого в куртке байкерской группировки с определенным логотипом, флагом или эмблемой. Если офицер решает продолжить поиск, информация об этом передается администратору его ведомства для проверки.
Критика систем модерации и риски
Кейт Руан, директор проекта по свободе слова в Центре демократии и технологий, изучающая системы автоматической модерации, называет категории политического, социального и культурного самовыражения «невероятно аморфными». Она отмечает, что офицеры могут использовать такую лексику, чтобы выяснить, кто присутствовал на протестной акции, что уже случалось на практике. По ее словам, то, что система выдает предупреждение, свидетельствует об опасениях самой компании, однако «вы все равно можете получить результаты, просто прокликая предупреждение». Руан добавляет, что ни одна система модерации контента, работающая в больших масштабах, не может быть абсолютно точной, а анализ видеопотока является еще более сложной задачей, где ошибки случаются чаще.
Эксперт также указывает на возможность обхода фильтров: поскольку система блокирует поиск по религии, но не по одежде, офицер может найти нужных лиц, введя описание отличительной одежды, которую носят представители определенного вероисповедания. В качестве примера она приводит случай в Калифорнии, когда офицер ввел запрос «американский флаг». При попытке поиска по человеку сработал блок, но при переключении на транспортные средства запрос был выполнен по базе 11 000 камер.
Дипак Кумар, доцент кафедры компьютерных наук и инженерии Калифорнийского университета в Сан-Диего, считает, что предупреждения останавливают только тех офицеров, которые не были твердо намерены довести поиск до конца. Исследуя системы доверия и безопасности, он отмечает, что ведение логов полезно административно для выявления сотрудников, часто игнорирующих предупреждения, но эффективность этой меры зависит исключительно от того, будет ли кто-то проводить реальный контроль. По его мнению, такая система работает скорее как запись действий, а не как средство сдерживания. Кумар подчеркивает, что проверка поисковых запросов перед выполнением — это лишь часть защиты, так как лучшие практики требуют контроля как входных данных, так и выходных результатов модели.
Джей Стэнли, старший аналитик по вопросам политики в проекте ACLU «Речь, приватность и технологии», согласен с тем, что система фильтрации решает лишь малую часть проблемы. Он называет ее «пятнышком на корпусе гигантской машины слежки», база данных которой позволяет проводить неограниченные поисковые операции. При этом никто за пределами компании Flock не знает, как именно их статистические модели принимают решения. По словам Стэнли, эта модерация, как и другие недавние реформы Flock, направлена на борьбу с «плохими полицейскими» и оставляет структурные угрозы массовой слежки нетронутыми.
Локальные правила и возможности поиска
Поисковые запросы выполняются по всем людям и транспортным средствам, которые когда-либо фиксировали камеры Flock за весь период хранения записей конкретным ведомством. Помимо текстовых описаний, инструмент позволяет использовать номерные знаки или обрезанные фотографии, находить автомобили, присутствовавшие в локациях, отмеченных офицером на карте, а также выявлять ассоциации на основе закономерностей вождения, предоставляя полиции информацию о транспортных средствах, замеченных рядом с искомым объектом.
Особенности работы поиска и механизмы контроля безопасности
Дальность поиска Flock зависит от выбранного режима, полномочий конкретного ведомства и соглашений, заключенных с другими организациями. Система может осуществлять поиск как по камерам самого ведомства, так и по камерам, предоставленным партнерскими организациями, а в случае с поиском номерных знаков — задействовать сети штатного и национального масштаба.
В Flock заявляют, что значительная часть ответственности за управление технологией лежит на местных ведомствах, которые самостоятельно устанавливают правила доступа и использования системы. Дон Де Лука, бывший шеф полиции Майами-Бич и экс-президент Международной ассоциации начальников полиции (IACP), в целом согласен с этим утверждением. По его словам, поставщики могут рекомендовать меры безопасности, но департаменты обязаны определить внутренние правила еще до начала эксплуатации технологии. «Использование должно быть привязано к законным основаниям», — подчеркивает он.
Командир полиции, курирующий специальные расследования в одном из департаментов Южной Калифорнии и пожелавший остаться анонимным из-за отсутствия полномочий на публичные комментарии, отмечает, что вероятность злоупотреблений не является уникальной чертой Flock или систем видеонаблюдения. Новые технологии регулярно создают возможности как для правомерного использования, так и для нарушений. По его мнению, главный вопрос заключается в том, «внедряется ли технология с жесткими ограничительными мерами, активным надзором, возможностью проведения аудита и неотвратимостью последствий за любые злоупотребления».
Внедрение системы аудита
На фоне усиления общественного контроля весной этого года компания Flock анонсировала инструмент Audit Assistance, который выявляет подозрительные паттерны, требующие дополнительной проверки. Согласно данным Flock, в августе функцию активировала более трети клиентов компании. Однако, согласно изученному редакцией WIRED программному коду, на данный момент функция по умолчанию отключена.
Система способна фиксировать повторяющиеся запросы одного офицера по одному и тому же номерному знаку, поисковые запросы, ограниченные камерами других ведомств, а также ситуации, когда поиск одного и того же номера осуществляется по нескольким разным номерам дел. В компании заявляют, что вместе с данным функционалом в будущем появится возможность блокировки учетных записей за аномальную активность.
Эффективность подобного контроля уже нашла подтверждение на практике: офис шерифа в Южной Каролине активировал Audit Assistance в начале этого месяца, и уже на следующий день сотрудник отдела внутренних расследований выявил более 2700 поисковых запросов, которые предположительно были совершены без надлежащих оснований.
