Компания Google Cloud объявила о выходе сервиса Storage Intelligence из стадии предварительного тестирования. Решение теперь доступно всем подписчикам и предоставляет инструменты для автоматизированного мониторинга облачных сред, а также расширенные возможности для пакетной обработки данных. Обновление направлено на упрощение администрирования хранилищ и снижение затрат за счет оперативного выявления проблем.
Автоматизированный поиск аномалий в данных
Сервис Storage Intelligence предназначен для исключения ручных процессов извлечения инвентаризационных данных и построения сложных конвейеров для обработки логов. Аналитика строится на основе ежедневных снимков использования ресурсов и базовых показателей активности конкретных проектов. Система способна фиксировать резкие скачки запросов классов A и B на уровнях хранения Coldline и Archive, обнаруживать всплески ошибок ограничения частоты 429, отслеживать аномальный рост межрегионального исходящего трафика и уведомлять об отклонениях в потреблении ресурсов от долгосрочных трендов в течение 24 часов.
За последние 30 дней работы инструмента в клиентских средах было зафиксировано более 6000 подобных событий. При обнаружении отклонений сервис указывает конкретный бакет, префикс и сервисную учетную запись, ответственные за аномалию. Для оптимизации затрат при неожиданном росте активности чтения на «холодных» уровнях хранения предлагаются готовые сценарии исправления: перевод объектов в класс Standard для снижения платы за извлечение, активация функции Autoclass для автоматического управления тирингом или применение управляемых папок для ограничения доступа неавторизованных учетных записей.
Чарли Кинг, инженер DataOps-DevOps в компании Shipt, дочернем предприятии Target, отметил, что ранее отслеживание критических метрик требовало трудоемких процессов и создания сложных конвейеров данных. Теперь, благодаря встроенным панелям мониторинга, команда может мгновенно идентифицировать всплески активности и оперативно устранять нецелевое использование ресурсов без необходимости сложной настройки.
Масштабируемые пакетные операции
Вторым ключевым компонентом обновления стал серверный движок для выполнения пакетных операций. Теперь администраторы могут применять изменения политик одновременно к 1000 бакетов в рамках одного проекта, вместо того чтобы проводить последовательную обработку для каждого объекта отдельно. Система самостоятельно управляет процессами ограничения пропускной способности, повторными попытками и отслеживанием прогресса для миллиардов объектов.
Кертис Нусбаум, главный инженер-программист Palo Alto Networks, подчеркнул, что управление блокировками хранения для миллиардов объектов ранее было трудновыполнимой задачей. Инструменты пакетной обработки Storage Intelligence позволили команде легко обновлять политики удержания данных по мере необходимости для всей инфраструктуры. К основным сценариям использования решения относятся:
- массовый перевод объектов из уровней Archive или Coldline в Standard при выявлении всплесков трафика;
- удаление устаревших или временных данных под определенными префиксами, если их объем превышает прогнозные значения;
- применение метаданных, тегов, политик удержания или настроек шифрования к большим наборам объектов без необходимости развертывания вычислительных мощностей.
Перед внесением изменений в рабочую среду администраторы могут использовать режим имитации (dry-run). Система формирует отчет, содержащий количество затронутых объектов, общий объем данных и возможные точки сбоев. Таргетинг настраивается с помощью запросов на языке Common Expression Language (CEL), что позволяет фильтровать объекты по классу хранения, размеру, дате создания или пользовательским метаданным.
Инструментарий интегрирован в общую подписку Storage Intelligence и включается для всех бакетов в рамках выбранной области (организация, папка или проект) без необходимости создания отдельных схем или дашбордов. По данным Google, количество клиентов, анализирующих наборы данных объемом более 1 миллиарда объектов, удвоилось за текущий год. Новым пользователям доступен 30-дневный бесплатный пробный период.
Безопасность и проверка операций
Важной составляющей работы с пакетами является возможность валидации массовых обновлений. Режим имитации (dry-run) позволяет администраторам убедиться в корректности действий до того, как они затронут производственные данные. Отчет, формируемый системой на этом этапе, включает в себя не только количество затронутых объектов и их совокупную емкость, но и указывает на потенциальные точки сбоев, что критически важно при работе с миллиардными массивами данных.
Для максимально точного таргетинга Google использует запросы на языке Common Expression Language (CEL), которые сопоставляются с наборами данных Storage Insights. Это позволяет фильтровать области применения по классу хранения, размеру объекта, дате создания или пользовательским метаданным. Ниже приведен пример CLI-команды для создания задания, которое удаляет все временные объекты из бакетов с префиксом «analytics» в классе Standard:
gcloud storage batch-operations jobs create bulk-delete-temp-objects \
—description=»Bulk delete temporary objects in analytics buckets» \
—target-project=»my-project-id» \
—insights-dataset-config=»projects/my-project-id/locations/us-central1/datasetConfigs/my-dataset» \
—bucket-filters=»name.startsWith(‘analytics-‘)» \
—object-filters=»storageClass == ‘STANDARD’ && name.endsWith(‘.temp’)» \
—delete-object
Условия использования и доступность
Активация Storage Intelligence на уровне организации, папки или конкретного проекта автоматически включает советник (advisor) для всех находящихся внутри бакетов. Это избавляет пользователей от необходимости самостоятельно настраивать схемы, конвейеры данных или создавать дашборды с нуля. Платформа доступна уже сейчас для всех подписчиков, а для тех, кто планирует опробовать функционал впервые, Google предоставляет 30-дневный бесплатный период тестирования.
