S3 Intelligent-Tiering

S3 Intelligent-Tiering — это функция автоматического управления классами хранения в сервисе Amazon Simple Storage Service (Amazon S3), предоставляемом компанией Amazon Web Services (AWS) (организация признана экстремистской и запрещена в РФ). Данная функция предназначена для оптимизации затрат на хранение данных путём автоматического перемещения объектов между различными уровнями (tiers) хранения в зависимости от изменяющихся паттернов доступа к ним. S3 Intelligent-Tiering работает в фоновом режиме, без необходимости ручного вмешательства пользователя, и не требует настройки политик жизненного цикла для каждого отдельного объекта.

Принцип работы

S3 Intelligent-Tiering анализирует частоту и характер обращения к объектам, хранящимся в бакете S3. На основе этого анализа функция автоматически перемещает объекты между четырьмя основными уровнями хранения: Frequent Access (частый доступ), Infrequent Access (нечастый доступ), Archive Instant Access (архивный мгновенный доступ) и Deep Archive Access (глубокий архивный доступ). Перемещение происходит на уровне отдельных объектов, а не всего бакета.

Ключевой особенностью является то, что S3 Intelligent-Tiering не взимает плату за операции перемещения между уровнями. Вместо этого взимается фиксированная ежемесячная плата за мониторинг и автоматическое управление, которая составляет $0.0025 за 1000 объектов. Это делает функцию экономически эффективной для больших объёмов данных с непредсказуемыми или меняющимися паттернами доступа.

Уровни хранения

S3 Intelligent-Tiering включает четыре уровня, каждый из которых оптимизирован под определённый сценарий использования:

• Frequent Access Tier: уровень для данных, к которым обращаются часто. Стоимость хранения на этом уровне сопоставима со стандартным классом S3 Standard. Объекты автоматически помещаются на этот уровень при загрузке или после того, как частота доступа к ним возрастает.
• Infrequent Access Tier: уровень для данных, к которым обращаются редко, но которые должны быть доступны мгновенно. Стоимость хранения ниже, чем на уровне Frequent Access, но выше плата за доступ к данным. Объекты перемещаются на этот уровень, если к ним не обращались в течение 30 дней.
• Archive Instant Access Tier: уровень для долгосрочного хранения данных, к которым обращаются крайне редко, но которые должны быть доступны в течение миллисекунд. Стоимость хранения значительно ниже, чем на предыдущих уровнях, но плата за доступ выше. Объекты перемещаются на этот уровень, если к ним не обращались в течение 90 дней.
• Deep Archive Access Tier: уровень для долгосрочного архивирования данных, к которым обращаются реже одного раза в год. Стоимость хранения самая низкая, но время восстановления данных может составлять до 12 часов. Объекты перемещаются на этот уровень, если к ним не обращались в течение 180 дней.

Автоматическое перемещение

Процесс перемещения объектов между уровнями полностью автоматизирован. S3 Intelligent-Tiering отслеживает время последнего доступа к каждому объекту. Если к объекту не обращались в течение определённого периода (30, 90 или 180 дней), он перемещается на более холодный уровень. Если доступ к объекту возобновляется, он немедленно возвращается на уровень Frequent Access. Перемещение происходит асинхронно и не влияет на доступность данных — объекты остаются доступными для чтения и записи во время перехода.

Варианты использования

S3 Intelligent-Tiering подходит для широкого круга сценариев, особенно для данных с непредсказуемыми или меняющимися паттернами доступа. Основные области применения включают:

• Хранение данных аналитики и машинного обучения: наборы данных могут быть активно использованы на этапе обучения модели, а затем редко запрашиваться. S3 Intelligent-Tiering автоматически перемещает их на более холодные уровни, снижая затраты.
• Хранение логов и метрик: системные логи, которые активно пишутся в течение короткого времени, а затем хранятся для аудита или расследований. Функция позволяет хранить их экономично, не теряя возможности быстрого доступа.
• Хранение пользовательских данных: контент, создаваемый пользователями (изображения, видео, документы), может иметь непредсказуемую популярность. S3 Intelligent-Tiering адаптируется к изменениям спроса.
• Хранение резервных копий: резервные копии, которые редко восстанавливаются, но должны быть доступны при необходимости. Функция автоматически перемещает их на архивные уровни.
• Хранение данных для соответствия нормативным требованиям: данные, которые необходимо хранить в течение длительного времени, но доступ к которым может потребоваться в любой момент.

Преимущества и недостатки

Преимущества

• Автоматизация: полностью устраняет необходимость ручного управления классами хранения и настройки политик жизненного цикла.
• Оптимизация затрат: автоматически подбирает наиболее экономичный уровень хранения для каждого объекта в зависимости от реального использования.
• Отсутствие платы за перемещение: в отличие от ручных политик жизненного цикла, S3 Intelligent-Tiering не взимает плату за операции перемещения между уровнями.
• Мгновенный доступ: данные на всех уровнях, кроме Deep Archive, доступны в течение миллисекунд.
• Гибкость: подходит для данных с любыми паттернами доступа, включая непредсказуемые.

Недостатки

• Фиксированная плата за мониторинг: за каждый объект, хранящийся с включённой функцией, взимается ежемесячная плата, что может быть невыгодно для очень маленьких объёмов данных.
• Задержки при перемещении: перемещение объектов между уровнями происходит не мгновенно, а в течение нескольких часов. Это не влияет на доступность, но может привести к кратковременному хранению на неоптимальном уровне.
• Ограниченная настройка: пользователь не может вручную задать, на какой уровень перемещать объекты. Все решения принимаются автоматически на основе предопределённых временных порогов.
• Не подходит для данных с очень коротким сроком жизни: для объектов, которые хранятся менее 30 дней, функция может быть неэффективна, так как плата за мониторинг может превысить экономию.

Сравнение с другими классами хранения S3

S3 Intelligent-Tiering занимает промежуточное положение между стандартными классами хранения и ручными политиками жизненного цикла. В отличие от S3 Standard, который не предусматривает автоматического перемещения, S3 Intelligent-Tiering динамически адаптируется. В отличие от S3 Standard-IA (Infrequent Access) или S3 One Zone-IA, которые требуют ручного выбора класса при загрузке, S3 Intelligent-Tiering автоматически определяет, когда объект становится редко используемым.

По сравнению с ручными политиками жизненного цикла, S3 Intelligent-Tiering проще в настройке, но менее гибок. Политики жизненного цикла позволяют задавать произвольные правила перемещения и удаления, в то время как S3 Intelligent-Tiering использует только предопределённые временные пороги.

Ограничения и рекомендации

S3 Intelligent-Tiering не рекомендуется для объектов размером менее 128 КБ, так как плата за мониторинг может превысить экономию от перемещения. Для таких объектов AWS рекомендует использовать другие классы хранения, например S3 Standard или S3 Glacier.

Функция доступна во всех регионах AWS, включая регионы в России (например, AWS Россия (Москва) — организация признана экстремистской и запрещена в РФ), однако использование сервисов AWS на территории РФ может быть ограничено действующим законодательством.

Источники

• Amazon Web Services. «Amazon S3 Intelligent-Tiering». Документация AWS.
• Amazon Web Services. «Amazon S3 Storage Classes». Документация AWS.
• Amazon Web Services. «Amazon S3 Pricing». Официальный сайт.
• Amazon Web Services. «Best Practices for S3 Intelligent-Tiering». Блог AWS.