Домой Статьи и аналитика Технологии Сохранять Интернет стало сильно сложнее и дороже из-за дефицита жестких дисков

Сохранять Интернет стало сильно сложнее и дороже из-за дефицита жестких дисков

Бурное развитие нейросетей спровоцировало нехватку памяти и рост цен на комплектующие, что ставит под угрозу создание глобальных архивов.

Стремительное развитие технологий искусственного интеллекта привело к неожиданному побочному эффекту — глобальному дефициту носителей информации, что поставило под угрозу проекты по сохранению цифрового культурного наследия. Как сообщает ресурс 404 Media, нехватка флеш-памяти типа NAND и жестких дисков большой емкости привела к тому, что стоимость специализированных HDD выросла в некоторых случаях в три раза.

Сохранять Интернет стало сильно сложнее и дороже из-за дефицита жестких дисков
Сохранять Интернет стало сильно сложнее и дороже из-за дефицита жестких дисков — иллюстрация к материалу. Источник: ixbt.com

Особую тревогу вызывает ситуация в Internet Archive, чья главная задача — обеспечение доступа к знаниям и веб-контенту для будущих поколений. На сегодняшний день в хранилищах проекта находится около 210 петабайт данных, а объем ежедневных поступлений составляет порядка 100 терабайт. Однако основатель организации Брюстер Кейл заявил, что поиск новых накопителей объемом 28–30 ТБ превратился в серьезный вызов: дефицитные модели либо исчезли из свободной продажи, либо их цена стала неоправданно высокой.

Трудности испытывает и Wikimedia Foundation, ответственная за работу Википедии. Представители фонда подтверждают, что резкий скачок цен коснулся не только стоимости накопителей, но и общей цепочки поставок серверного оборудования, что делает долгосрочное планирование развития инфраструктуры крайне затруднительным.

Цифровая история под ударом

Ситуация осложняется тем, что владельцы интернет-ресурсов начали активно блокировать любых ботов, опасаясь неконтролируемого сбора данных для обучения нейросетей. В результате под жесткие фильтры попадают и «добропорядочные» сканеры, необходимые для архивирования страниц. Это создает двойную проблему: проекты по сохранению цифровой истории сталкиваются с критическим ростом расходов на «железо» и одновременно с техническими барьерами, ограничивающими доступ к контенту.

Источник: https://www.ixbt.com