S3 Glacier

S3 Glacier — это класс хранилища данных в облачной платформе Amazon Web Services (AWS), предназначенный для долгосрочного, экономичного хранения редко используемых данных (архивного хранения). Он является частью сервиса Amazon Simple Storage Service (S3) и оптимизирован для сценариев, где доступ к данным требуется редко, но критически важна их сохранность и низкая стоимость хранения.

История и развитие

Класс S3 Glacier был представлен компанией Amazon в 2012 году как ответ на растущую потребность бизнеса в недорогом, но надёжном хранении больших объёмов данных, которые не требуют мгновенного доступа. До появления S3 Glacier пользователям AWS приходилось либо платить за стандартное хранение S3, которое было дороже, либо использовать сторонние архивные решения, что усложняло интеграцию с облачной экосистемой.

В 2018 году Amazon представила S3 Glacier Deep Archive — ещё более холодный и дешёвый уровень хранения, предназначенный для данных, доступ к которым может потребоваться не чаще одного-двух раз в год. В 2021 году были анонсированы мгновенное восстановление (Instant Retrieval) для S3 Glacier, что расширило возможности быстрого доступа к архивным данным без необходимости ожидания в несколько часов.

Классификация и уровни доступа

S3 Glacier не является отдельным сервисом, а представляет собой класс хранилища (storage class) в рамках Amazon S3. Внутри него выделяются три основных подкласса, различающихся временем восстановления данных и стоимостью:

• S3 Glacier Flexible Retrieval (ранее просто S3 Glacier) — предназначен для данных, доступ к которым может потребоваться в течение нескольких минут или часов. Восстановление данных занимает от 1 до 5 минут (при использовании Expedited retrieval) или 3–5 часов (Standard retrieval). Этот уровень подходит для архивов, которые могут понадобиться для аудита, судебных разбирательств или восстановления после сбоев.
• S3 Glacier Deep Archive — самый дешёвый класс хранения в AWS. Восстановление данных занимает от 12 до 48 часов (Standard retrieval). Используется для долгосрочного хранения данных, которые могут быть востребованы лишь в исключительных случаях, например, для соблюдения нормативных требований (комплаенса) или хранения цифровых копий физических архивов.
• S3 Intelligent-Tiering (с опцией автоматического перемещения в архив) — хотя формально это отдельный класс, он может автоматически перемещать данные между горячими и холодными уровнями, включая S3 Glacier Deep Archive, в зависимости от частоты доступа.

Устройство и характеристики

S3 Glacier, как и другие классы S3, основан на распределённой инфраструктуре AWS, включающей множество центров обработки данных (регионов) и зон доступности. Данные автоматически реплицируются в пределах региона для обеспечения надёжности (стандартная избыточность — 99,999999999% долговечности, или 11 девяток).

Ключевые характеристики:

• Стоимость хранения: значительно ниже, чем у стандартных классов S3 (S3 Standard, S3 Standard-IA). Например, стоимость S3 Glacier Deep Archive может составлять около $0,00099 за гигабайт в месяц (на 2024 год), что в десятки раз дешевле стандартного хранения.
• Стоимость восстановления: взимается за каждый запрос на извлечение данных, а также за объём восстановленных данных. Чем быстрее требуется доступ, тем выше стоимость (Expedited retrieval дороже Standard).
• Минимальный срок хранения: для S3 Glacier Flexible Retrieval — 90 дней, для S3 Glacier Deep Archive — 180 дней. Если данные удаляются раньше, взимается штраф за досрочное удаление.
• Размер объектов: поддерживаются объекты от 0 байт до 5 терабайт. Для загрузки объектов больше 5 ГБ рекомендуется использовать многокомпонентную загрузку (Multipart Upload).
• Шифрование: поддерживается шифрование на стороне сервера (SSE-S3, SSE-KMS, SSE-C) и на стороне клиента.

Применение и значение

S3 Glacier широко используется в корпоративных и государственных IT-системах для решения задач, связанных с долгосрочным хранением данных:

• Архивирование баз данных и логов: компании, работающие с большими объёмами данных (например, финансовые организации, телекоммуникационные компании), перемещают старые логи, резервные копии баз данных и транзакционные записи в S3 Glacier для снижения затрат.
• Соблюдение нормативных требований: многие отрасли (здравоохранение, финансы, государственное управление) обязаны хранить данные в течение определённого срока (от нескольких лет до десятилетий). S3 Glacier Deep Archive позволяет выполнять эти требования с минимальными расходами.
• Цифровые архивы: музеи, библиотеки, медиакомпании используют S3 Glacier для хранения оцифрованных документов, фотографий, видео и аудиозаписей, которые редко запрашиваются, но должны быть сохранены.
• Резервное копирование: системы резервного копирования (например, AWS Backup, Veeam, CommVault) часто используют S3 Glacier как конечную точку для долгосрочных копий данных (cold backups).

Критика и ограничения

Несмотря на популярность, S3 Glacier имеет ряд недостатков, которые критикуются пользователями и экспертами:

• Сложность управления временем восстановления: пользователи могут ошибиться в выборе уровня восстановления (Expedited, Standard, Bulk), что приводит либо к неожиданно высоким затратам, либо к слишком долгому ожиданию.
• Скрытые расходы: помимо стоимости хранения и восстановления, взимается плата за запросы (GET, POST), а также за передачу данных (egress) за пределы региона AWS. Для больших объёмов это может значительно увеличить общую стоимость.
• Минимальные сроки хранения: штрафы за досрочное удаление могут сделать S3 Glacier невыгодным для данных, которые могут потребоваться раньше, чем через 90 или 180 дней.
• Отсутствие мгновенного доступа: даже с Expedited retrieval восстановление занимает минуты, что делает класс непригодным для оперативного доступа к данным. Для таких сценариев существуют S3 Standard-IA или S3 One Zone-IA.

Интересные факты

• S3 Glacier был назван в честь ледников (glacier), символизируя «холодное» хранение данных, где информация «заморожена» на долгий срок.
• Amazon гарантирует долговечность данных на уровне 99,999999999%, что означает, что потеря объекта возможна в среднем один раз на 10 000 000 000 000 объектов в год.
• S3 Glacier Deep Archive является одним из самых дешёвых облачных хранилищ на рынке, уступая по стоимости лишь некоторым решениям на ленточных накопителях (tape storage), но превосходя их по скорости доступа и удобству управления.

Источники

• Amazon Web Services. «Amazon S3 Glacier Storage Classes». Официальная документация AWS.
• Amazon Web Services. «Amazon S3 Glacier Deep Archive». Официальная документация AWS.
• Amazon Web Services. «Amazon S3 Pricing». Страница с ценами на услуги AWS.
• TechCrunch. «Amazon Launches Glacier, A Low-Cost Cloud Storage Service For Archived Data». 2012.
• AWS News Blog. «New – S3 Glacier Instant Retrieval Storage Class». 2021.