S3 Glacier Deep Archive

S3 Glacier Deep Archive — это класс хранения данных в сервисе Amazon Simple Storage Service (Amazon S3), предназначенный для долговременного, экономически эффективного архивного хранения данных, к которым обращаются крайне редко (не чаще одного-двух раз в год). Он обеспечивает максимально низкую стоимость хранения среди всех классов S3, но при этом имеет самое длительное время восстановления (извлечения) данных — от 12 до 48 часов.

История и контекст

Сервис Amazon S3, запущенный в 2006 году, изначально предлагал один стандартный класс хранения. По мере роста объёмов данных и потребностей бизнеса в оптимизации затрат, Amazon Web Services (AWS) начала вводить дополнительные классы, различающиеся по стоимости хранения, скорости доступа и минимальным срокам хранения.

Класс S3 Glacier был представлен в 2012 году для данных, которые требуются нечасто, но могут быть извлечены за несколько минут или часов. В 2018 году AWS анонсировала S3 Glacier Deep Archive как самый холодный и дешёвый уровень хранения, ориентированный на выполнение нормативных требований, долгосрочное резервное копирование и сохранение цифровых архивов, доступ к которым может потребоваться лишь в экстренных случаях.

Характеристики и стоимость

S3 Glacier Deep Archive отличается от других классов хранения S3 тремя ключевыми параметрами: стоимостью хранения, временем извлечения и минимальным сроком хранения.

Стоимость хранения

Стоимость хранения в S3 Glacier Deep Archive является самой низкой среди всех классов S3. По состоянию на 2024 год она составляет примерно 0,00099 доллара США за гигабайт в месяц (в регионе US East (N. Virginia)). Это делает его привлекательным для хранения петабайтных объёмов данных, которые не требуют оперативного доступа. Однако стоимость операций записи и извлечения данных, а также плата за вывод данных за пределы AWS, могут быть выше, чем для более горячих классов.

Время извлечения

Восстановление данных из S3 Glacier Deep Archive занимает от 12 до 48 часов. Это существенно медленнее, чем у S3 Glacier (1–5 минут для Expedited, 3–5 часов для Standard) или S3 Standard (миллисекунды). AWS предоставляет два варианта извлечения:

• Standard (стандартное) — занимает 12 часов.
• Bulk (массовое) — занимает до 48 часов, предназначено для восстановления больших объёмов данных (петабайты) и является самым дешёвым вариантом.

Минимальный срок хранения

Для объектов, хранящихся в S3 Glacier Deep Archive, установлен минимальный срок хранения в 180 дней. Если объект удаляется или перемещается в другой класс до истечения этого срока, взимается плата за досрочное удаление. Это делает класс невыгодным для данных, которые могут быть удалены или перемещены в течение полугода.

Устройство и управление

S3 Glacier Deep Archive не является отдельным сервисом, а представляет собой класс хранения в рамках Amazon S3. Управление им осуществляется через стандартные API S3, консоль управления AWS, AWS CLI или SDK. Объекты загружаются в корзину (bucket) S3 с указанием класса хранения DEEP_ARCHIVE.

Загрузка и хранение

Загрузка объектов в S3 Glacier Deep Archive происходит так же, как и в другие классы. Объекты автоматически шифруются на стороне сервера с помощью ключей, управляемых AWS (SSE-S3) или пользователем (SSE-KMS, SSE-C). Данные реплицируются в нескольких зонах доступности (AZ) в пределах выбранного региона AWS, что обеспечивает долговременную сохранность (99,999999999% — одиннадцать девяток).

Извлечение данных

Для извлечения данных из S3 Glacier Deep Archive необходимо инициировать задачу восстановления (restore request). Этот процесс не является мгновенным: AWS перемещает объект из холодного хранилища в промежуточный класс (например, S3 Standard или S3 Glacier) на заданный период времени (по умолчанию 1 день, но может быть увеличен). После завершения восстановления объект становится доступным для чтения. В течение этого периода можно скачать объект, после чего он снова переходит в состояние «замороженного» (глубокого архива).

Политики жизненного цикла

S3 Glacier Deep Archive часто используется в сочетании с политиками жизненного цикла (Lifecycle Policies). Например, можно настроить автоматическое перемещение объектов из S3 Standard через 30 дней в S3 Standard-IA, через 90 дней в S3 Glacier, а через 365 дней — в S3 Glacier Deep Archive. Это позволяет автоматизировать управление затратами, не требуя ручного вмешательства.

Применение

S3 Glacier Deep Archive находит применение в сценариях, где требуется долговременное, недорогое хранение данных, к которым обращаются редко или только в случае аудита, расследования или восстановления после катастрофы.

Долгосрочное резервное копирование

Организации используют S3 Glacier Deep Archive для хранения резервных копий баз данных, файловых систем и виртуальных машин, которые создаются редко (например, ежемесячно или ежеквартально) и хранятся годами. Это дешевле, чем хранение на ленте или на жёстких дисках в локальном дата-центре.

Соответствие нормативным требованиям

Многие отрасли (финансы, здравоохранение, государственное управление) обязаны хранить определённые типы данных в течение нескольких лет или десятилетий. S3 Glacier Deep Archive позволяет выполнять эти требования с минимальными затратами, обеспечивая неизменяемость данных с помощью механизма S3 Object Lock (WORM — Write Once, Read Many).

Цифровые архивы

Научные организации, медиакомпании и библиотеки хранят в S3 Glacier Deep Archive большие объёмы цифровых активов: спутниковые снимки, видеоархивы, результаты научных экспериментов, исторические документы. Доступ к таким данным может потребоваться лишь изредка, например, для повторного анализа.

Аварийное восстановление

В некоторых архитектурах S3 Glacier Deep Archive используется для хранения копий данных, необходимых для восстановления после катастрофы. Если основной сайт выходит из строя, данные могут быть восстановлены в течение 12–48 часов, что приемлемо для многих бизнесов.

Критика и ограничения

Несмотря на низкую стоимость, S3 Glacier Deep Archive имеет ряд ограничений и критических замечаний.

Время восстановления

Основным недостатком является длительное время извлечения данных. Для многих сценариев (например, оперативное восстановление после сбоя) 12–48 часов неприемлемо. AWS рекомендует использовать этот класс только для данных, которые не потребуются в ближайшее время.

Сложность управления

Хотя управление через API S3 простое, пользователи могут столкнуться с трудностями при планировании восстановления больших объёмов данных. Массовое извлечение (Bulk) может занимать до 48 часов, и при этом может потребоваться координация с другими процессами.

Стоимость операций

Стоимость загрузки и извлечения данных в S3 Glacier Deep Archive может быть высокой, если объём операций велик. Например, загрузка большого количества мелких файлов может оказаться дороже, чем хранение, из-за платы за каждую операцию PUT.

Минимальный срок хранения

Обязательный 180-дневный срок хранения делает этот класс негибким для данных, которые могут быть удалены раньше. Это может привести к неожиданным расходам, если политика жизненного цикла настроена некорректно.

Альтернативы

На рынке облачных услуг существуют аналогичные решения от других провайдеров, например:

• Azure Archive Storage от Microsoft Azure — предлагает холодное хранение с временем восстановления до 15 часов.
• Google Cloud Archive Storage — класс хранения с временем восстановления до 12 часов.
• S3 Glacier от AWS — более быстрый, но и более дорогой класс архивного хранения (время восстановления от 1 минуты до 5 часов).

Выбор между S3 Glacier Deep Archive и его аналогами зависит от требований к скорости доступа, объёму данных, региону размещения и стоимости.

Источники

• Документация Amazon Web Services: «Amazon S3 Storage Classes» (2024).
• AWS Whitepaper: «AWS Storage Services Overview» (2023).
• Официальный блог AWS: «Announcing S3 Glacier Deep Archive» (2018).
• Книга: «AWS Certified Solutions Architect – Associate Guide» (2020), раздел «Storage Classes».