Object Storage Service

Доступ к объекту осуществляется по его ключу, без необходимости знать физическое расположение данных. Это обеспечивает высокую масштабируемость: хранилище может легко расширяться добавлением новых серверов.

Классификация объектных хранилищ

По модели развёртывания

• Публичные облачные объектные хранилища — предоставляются как сервис (SaaS/PaaS) облачными провайдерами. Примеры: Amazon S3, Google Cloud Storage, Yandex Object Storage. Пользователь платит только за фактически используемый объём и количество запросов.
• Частные (on-premise) объектные хранилища — развёртываются на собственных серверах организации. Используются для соблюдения требований к конфиденциальности данных или в условиях ограниченного интернет-доступа. Примеры: MinIO, Ceph, Dell EMC ECS, IBM Cloud Object Storage.
• Гибридные — комбинация публичного и частного хранения, позволяющая хранить критически важные данные локально, а резервные копии или архивные данные — в облаке.

По типу хранимых данных

• Архивные хранилища — для долговременного хранения редко используемых данных (например, Amazon S3 Glacier). Отличаются низкой стоимостью хранения, но высоким временем доступа (от минут до часов).
• Хранилища для активных данных — для часто запрашиваемой информации (веб-сайты, медиаконтент). Обеспечивают минимальные задержки (миллисекунды) и высокую пропускную способность.
• Хранилища для резервных копий — оптимизированы для хранения больших объёмов данных, часто с поддержкой дедупликации и сжатия.

Преимущества и недостатки

Преимущества

• Безграничная масштабируемость — объём хранилища может увеличиваться практически без ограничений за счёт добавления новых узлов.
• Высокая отказоустойчивость — данные реплицируются на несколько серверов, часто в разных географических зонах.
• Простота доступа — доступ через HTTP/HTTPS по стандартному API, не требуется монтирование томов или настройка файловых систем.
• Экономичность — оплата только за фактически использованное пространство и количество операций (в облачных моделях).
• Поддержка версионирования — возможность хранить несколько версий одного объекта, что защищает от случайного удаления или перезаписи.
• Безопасность — шифрование данных как при передаче (TLS), так и при хранении (server-side encryption), детальные политики доступа (IAM).

Недостатки

• Зависимость от сети — для доступа к данным требуется стабильное интернет-соединение (в облачных моделях).
• Задержки при доступе — по сравнению с локальными блочными хранилищами (NVMe, SSD), объектные хранилища имеют большие задержки (десятки-сотни миллисекунд).
• Сложность работы с мелкими файлами — объектные хранилища неэффективны для хранения миллионов мелких объектов (менее 1 КБ) из-за накладных расходов на метаданные.
• Отсутствие блокировок — традиционные объектные хранилища не поддерживают механизмы блокировки файлов, что затрудняет одновременную запись в один объект несколькими процессами (требуется внешняя координация).

Применение

Объектные хранилища используются в самых разных областях:

• Веб-хостинг и CDN — хранение статического контента (изображения, CSS, JavaScript) и его раздача через сети доставки контента (CDN).
• Резервное копирование и аварийное восстановление — создание копий баз данных, виртуальных машин, файловых серверов.
• Медиаконтент и стриминг — хранение видео, аудио, фото для сервисов YouTube, Netflix, VK Видео.
• Научные вычисления и Big Data — хранение массивов данных для анализа (геномные данные, результаты физических экспериментов).
• Архивирование — долговременное хранение документов, логов, юридически значимой информации.
• Корпоративные приложения — хранение файлов пользователей, документооборот, системы управления контентом (CMS).

Примеры сервисов

Международные

• Amazon S3 — наиболее популярное объектное хранилище, поддерживает 11 классов хранения (от Standard до Glacier Deep Archive). Объём хранимых данных — более 200 триллионов объектов (по данным AWS на 2023 год).
• Google Cloud Storage — предлагает классы хранения: Standard, Nearline, Coldline, Archive.
• Azure Blob Storage — сервис Microsoft с поддержкой горячего, холодного и архивного уровней.

Российские

• Yandex Object Storage — сервис Яндекса, совместимый с S3 API. Хранит данные в трёх зонах доступности (Москва, Рязань, Владимир). Поддерживает классы хранения: Стандартное, Холодное, Лёд.
• VK Cloud Object Storage — сервис VK (бывший Mail.ru Cloud Solutions). Предлагает горячее и холодное хранение, интеграцию с CDN VK.
• Selectel Object Storage — объектное хранилище компании Selectel, расположенное в дата-центрах Санкт-Петербурга и Москвы. Совместимо с S3 API.
• СберКлауд — объектное хранилище Сбербанка, ориентированное на корпоративных клиентов, с поддержкой шифрования и аудита.

Интересные факты

• Объектное хранение лежит в основе работы большинства современных облачных сервисов: от потокового видео до интернета вещей (IoT).
• В 2023 году общий объём данных, хранящихся в объектных хранилищах по всему миру, превысил 10 зеттабайт (10²¹ байт).
• Некоторые объектные хранилища (например, Ceph) могут одновременно предоставлять блочный и файловый доступ к тем же данным, что делает их универсальными.
• В России активно развиваются решения на базе MinIO и Ceph для построения частных облаков в государственных учреждениях и компаниях с особыми требованиями к безопасности.

Источники

• Amazon Web Services. «Amazon S3: Overview and Best Practices» (документация).
• Google Cloud. «Cloud Storage: Object Storage Overview» (документация).
• Microsoft Azure. «Introduction to Azure Blob Storage» (документация).
• Yandex Cloud. «Object Storage: Обзор сервиса» (документация).
• Selectel. «Object Storage: документация» (документация).
• VK Cloud. «Object Storage: руководство пользователя» (документация).
• Стандарт ISO/IEC 27040:2015 «Информационные технологии — Методы обеспечения безопасности — Безопасность хранения данных».
• Книга: «Object Storage: The Complete Guide» by Dan Sullivan (O'Reilly Media, 2019).
• Статья: «A Survey of Object Storage Systems» (ACM Computing Surveys, 2020).