Amazon S3 Glacier¶

Amazon S3 Glacier — это сервис облачного хранения данных, предоставляемый компанией Amazon Web Services (AWS), предназначенный для долгосрочного, недорогого хранения редко используемых данных (архивного хранения). Он является частью экосистемы Amazon S3 и оптимизирован для хранения данных, к которым требуется нечастый доступ, но которые должны быть сохранены в течение длительного времени (от нескольких месяцев до десятилетий) в целях соответствия нормативным требованиям, аудита или резервного копирования. Ключевой особенностью сервиса является низкая стоимость хранения при более высоких, по сравнению с другими классами S3, тарифах на извлечение данных и задержках, которые могут составлять от нескольких минут до нескольких часов.

¶История

Сервис Amazon Glacier был анонсирован компанией Amazon Web Services 21 августа 2012 года. Он был создан как ответ на потребность в специализированном хранилище для данных, которые не требуют мгновенного доступа, но должны быть сохранены с высокой надёжностью и минимальными затратами. Изначально сервис был отдельным продуктом с собственным API и интерфейсом управления.

В ноябре 2018 года AWS объявила о значительном обновлении, интегрировав Glacier в экосистему Amazon S3. Сервис был переименован в Amazon S3 Glacier, а его функциональность была представлена в виде двух новых классов хранения: S3 Glacier (для извлечения данных за несколько минут) и S3 Glacier Deep Archive (для самого дешёвого хранения с извлечением за 12 часов). Эта интеграция упростила управление жизненным циклом данных, позволив автоматически перемещать объекты между стандартными классами S3 и архивными классами без необходимости использования отдельных API.

¶Классы хранения

Amazon S3 Glacier предлагает два основных класса хранения, которые различаются временем доступа к данным и стоимостью:

¶S3 Glacier (ранее — Amazon Glacier)

Класс S3 Glacier предназначен для данных, доступ к которым может потребоваться с задержкой от 1 до 5 минут. Он подходит для резервных копий, архивов данных, которые могут понадобиться в случае аварийного восстановления, или для контента, который нужно извлечь для аудита. Стоимость хранения в этом классе значительно ниже, чем в стандартных классах S3 (например, S3 Standard или S3 Standard-IA), но выше, чем в S3 Glacier Deep Archive.

¶S3 Glacier Deep Archive

Класс S3 Glacier Deep Archive является самым дешёвым вариантом хранения в AWS. Он предназначен для данных, которые могут храниться годами и десятилетиями, а доступ к ним требуется в исключительных случаях (например, для выполнения требований регулирующих органов или исторического анализа). Время извлечения данных из этого класса составляет от 12 до 48 часов. Этот класс идеально подходит для долгосрочного хранения цифровых архивов, научных данных, юридических записей и медиаконтента, который больше не используется, но должен быть сохранён.

¶Устройство и характеристики

¶Модель хранения

Данные в Amazon S3 Glacier хранятся в виде объектов (архивов), которые группируются в хранилища (vaults). Каждый объект может иметь размер от 1 байта до 40 терабайт. Сервис обеспечивает высокую долговечность данных (99,999999999%, или «11 девяток»), что достигается за счёт автоматического реплицирования данных в нескольких географически распределённых зонах доступности (Availability Zones) в рамках одного региона AWS.

¶Извлечение данных

Извлечение данных из S3 Glacier — это асинхронный процесс. Пользователь инициирует запрос на извлечение, после чего данные временно копируются в стандартный класс S3 (например, S3 Standard-IA) или в буферное хранилище. Время ожидания зависит от выбранного класса хранения и способа извлечения:

Ускоренное извлечение (Expedited): для S3 Glacier — 1–5 минут; для S3 Glacier Deep Archive не поддерживается.
Стандартное извлечение (Standard): для S3 Glacier — 3–5 часов; для S3 Glacier Deep Archive — 12 часов.
Массовое извлечение (Bulk): для S3 Glacier — 5–12 часов; для S3 Glacier Deep Archive — 48 часов.

Стоимость извлечения зависит от выбранного способа: ускоренное извлечение является самым дорогим, массовое — самым дешёвым.

¶Безопасность и управление

Amazon S3 Glacier поддерживает все стандартные механизмы безопасности AWS, включая шифрование данных в покое (с помощью AWS Key Management Service или собственных ключей) и при передаче (по протоколу HTTPS). Доступ к данным контролируется с помощью политик IAM (Identity and Access Management) и политик хранилищ. Также поддерживается версионность объектов, блокировка хранилищ (Vault Lock) для соответствия нормативным требованиям (например, WORM — Write Once, Read Many) и аудит доступа через AWS CloudTrail.

¶Применение

Amazon S3 Glacier широко используется в различных сценариях, где требуется долгосрочное, экономичное хранение данных:

Резервное копирование и аварийное восстановление: хранение резервных копий баз данных, системных образов и файловых серверов, которые могут потребоваться для восстановления в случае катастрофы.
Архивирование данных для соответствия нормативным требованиям: хранение финансовых записей, медицинских карт, юридических документов и других данных, которые должны храниться в течение определённого срока (например, 7 лет для налоговой отчётности в США или 10 лет для медицинских записей в России).
Хранение медиаконтента: архивирование неиспользуемых видеофайлов, аудиозаписей, фотографий и других медиаданных, которые могут быть востребованы в будущем.
Научные и исследовательские данные: хранение больших объёмов данных, полученных в результате научных экспериментов, наблюдений или моделирования, которые используются редко, но должны быть доступны для анализа.
Цифровые архивы: хранение исторических документов, библиотечных каталогов, архивов СМИ и других культурных ценностей.

¶Примеры использования

Крупные медиакомпании, такие как Netflix, используют S3 Glacier для хранения архивов своих фильмов и сериалов, которые могут быть востребованы для повторного выпуска или реставрации.
Финансовые учреждения архивируют записи транзакций и отчёты для соответствия требованиям регулирующих органов, таких как SEC (Комиссия по ценным бумагам и биржам США) или ЦБ РФ.
Научные организации, например, CERN (Европейская организация по ядерным исследованиям), используют S3 Glacier Deep Archive для хранения данных, полученных в результате экспериментов на Большом адронном коллайдере, которые могут быть проанализированы спустя годы.

¶Критика и ограничения

Несмотря на широкое распространение, Amazon S3 Glacier имеет ряд ограничений и критических замечаний:

Высокая стоимость извлечения данных: при частом или массовом извлечении данных стоимость может значительно возрасти, что делает сервис экономически невыгодным для сценариев с регулярным доступом.
Сложность прогнозирования затрат: из-за сложной тарифной сетки (стоимость хранения, извлечения, передачи данных, запросов) итоговая стоимость может быть непредсказуемой для пользователей, не знакомых с деталями биллинга AWS.
Задержки при извлечении: для некоторых сценариев (например, аварийное восстановление) задержка в несколько часов может быть неприемлемой.
Отсутствие мгновенного доступа: в отличие от стандартных классов S3, данные в Glacier не доступны напрямую; для их чтения необходимо инициировать процесс извлечения.
Зависимость от провайдера: использование S3 Glacier привязывает пользователя к экосистеме AWS, что может вызвать сложности при миграции данных к другому облачному провайдеру или в локальную инфраструктуру.

¶Источники

Документация Amazon Web Services: «Amazon S3 Glacier Storage Classes»
Официальный блог AWS: «Amazon Glacier — A New Cloud Storage Service for Data Archiving» (2012)
Официальный блог AWS: «New – Amazon S3 Glacier Deep Archive Storage Class» (2018)
Книга: «AWS Certified Solutions Architect Study Guide» (Ben Piper, David Clinton)
Статья: «Cloud Storage for Dummies: Amazon S3 vs Glacier vs Deep Archive» (TechTarget)

Заметили ошибку или не согласны с информацией в статье? Напишите нам support@bfometr.ru