Стремительное развитие технологий искусственного интеллекта неожиданно поставило под угрозу работу Internet Archive — одного из главных институтов по сохранению цифровой истории человечества. Проект, более 30 лет занимающийся архивированием веб-страниц, столкнулся с массовым нежеланием владельцев сайтов предоставлять доступ к своим материалам.
Основой экосистемы Internet Archive является Wayback Machine — крупнейшая в мире публичная «машина времени» интернета. Сервис с помощью автоматизированных веб-краулеров создает снимки страниц, что позволяет изучать эволюцию ресурсов во времени. Эти данные стали незаменимым инструментом для историков, исследователей и журналистов, занимающихся разоблачением дезинформации и отслеживанием правок в официальных публикациях.
Массовые ограничения доступа
Сегодня охват Wayback Machine стремительно сужается. Согласно актуальным оценкам, как минимум 241 новостной портал из девяти стран мира уже ввел частичные или полные запреты на индексацию своего контента. В список «закрытых» площадок попали такие гиганты, как The New York Times и Reddit. Особую активность в блокировке проявляет медиахолдинг Gannett, владеющий десятками крупных американских изданий.
Иллюстрация: Nano Banana
Методы ограничения варьируются: некоторые ресурсы полностью блокируют краулеры, другие, как The Guardian, применяют более тонкие подходы, скрывая свои материалы из поискового интерфейса Wayback Machine и ограничивая доступ через API, что значительно усложняет работу исследователей.
ИИ как главная причина конфликта
Основным драйвером отчуждения стал бум искусственного интеллекта. Медиакомпании опасаются, что архивные данные используются технологическими гигантами для обучения больших языковых моделей (LLM) без заключения соответствующих соглашений и выплаты компенсаций. Архив рассматривается ими как «лазейка», позволяющая нейросетям собирать защищенный авторским правом контент в обход прямых ограничений на самих сайтах.
При этом ирония ситуации заключается в том, что сами СМИ регулярно пользуются услугами архива для проверки фактов. В открытом письме, опубликованном правозащитными организациями, включая Electronic Frontier Foundation, подчеркивается критическая важность Wayback Machine: «Без Internet Archive значительная часть современной истории журналистики уже была бы стерта из цифрового пространства».
Будущее цифровой памяти
В администрации Internet Archive заявляют, что работают над внедрением новых протоколов защиты от злоупотреблений, включая строгие лимиты на массовое скачивание данных ботами. Тем не менее, уровень доверия со стороны крупных издателей продолжает снижаться. Эксперты индустрии признают наличие системного кризиса: инструменты, созданные для накопления и сохранения знаний, столкнулись с новыми экономическими реалиями, для которых они изначально не были спроектированы.
На текущий момент полноценных аналогов Wayback Machine не существует. Продолжающееся сокращение доступа к новостным архивам может привести к необратимым потерям информации, особенно в динамичной среде интернета, где правки, удаления и редиректы происходят ежедневно. Если текущий тренд сохранится, человечество рискует столкнуться с «цифровой амнезией», при которой значительные пласты истории окажутся безвозвратно утраченными уже в ближайшие годы.
