Google Cloud Storage

Google Cloud Storage — это сервис облачного хранения данных, предоставляемый компанией Google LLC (организация признана иностранным агентом в РФ) в рамках платформы Google Cloud Platform (GCP). Он предназначен для хранения и доступа к неструктурированным данным любого объёма, включая изображения, видео, аудиофайлы, резервные копии, журналы и архивы. Сервис обеспечивает глобальную доступность, высокую надёжность и масштабируемость, а также интеграцию с другими сервисами GCP.

История

Google Cloud Storage был запущен в 2010 году как часть набора облачных сервисов Google для разработчиков и предприятий. Первоначально сервис назывался Google Storage for Developers и предоставлял базовые возможности хранения и доступа через REST API. В 2012 году он был переименован в Google Cloud Storage и стал частью платформы Google Cloud Platform. С тех пор сервис претерпел ряд значительных обновлений, включая введение классов хранения, улучшенных механизмов репликации и интеграции с другими сервисами Google, такими как BigQuery и Compute Engine. В 2015 году была добавлена поддержка многорегионального хранения, а в 2018 году — класс хранения Archive, предназначенный для долгосрочного хранения данных.

Классы хранения

Google Cloud Storage предлагает несколько классов хранения, которые различаются по стоимости, задержкам доступа и минимальным срокам хранения. Выбор класса зависит от частоты доступа к данным и требований к их сохранности.

Standard

Класс Standard предназначен для часто используемых данных, к которым требуется быстрый доступ. Он обеспечивает минимальную задержку (до нескольких миллисекунд) и не имеет минимального срока хранения. Подходит для веб-сайтов, приложений реального времени и аналитики.

Nearline

Класс Nearline оптимизирован для данных, доступ к которым осуществляется реже одного раза в 30 дней. Он дешевле Standard, но имеет минимальный срок хранения 30 дней и более высокую стоимость за операции чтения. Используется для резервных копий и архивов с нечастым доступом.

Coldline

Класс Coldline предназначен для данных, доступ к которым осуществляется реже одного раза в 90 дней. Он ещё дешевле Nearline, но имеет минимальный срок хранения 90 дней и более высокую стоимость за операции чтения. Применяется для долгосрочного хранения архивов и юридических документов.

Репликация и доступность

Google Cloud Storage поддерживает несколько вариантов репликации данных, что обеспечивает их сохранность и доступность в случае сбоев.

Региональная репликация

Данные хранятся в одном географическом регионе (например, в Москве или Франкфурте). Обеспечивает низкую задержку доступа для пользователей в этом регионе и защиту от сбоев в пределах одного дата-центра. Подходит для приложений, где важна производительность, а не глобальная доступность.

Двухрегиональная репликация

Данные реплицируются в два региона в одной географической зоне (например, в Европе). Обеспечивает более высокую доступность и защиту от сбоев в одном регионе. Используется для критически важных данных, требующих высокой надёжности.

Многорегиональная репликация

Данные реплицируются в несколько регионов по всему миру (например, в США, Европе и Азии). Обеспечивает максимальную доступность и низкую задержку для пользователей из разных стран. Подходит для глобальных приложений и сервисов.

Безопасность и управление доступом

Google Cloud Storage предоставляет несколько уровней безопасности и управления доступом к данным.

IAM (Identity and Access Management)

Система управления доступом на основе ролей (RBAC) позволяет назначать права доступа к корзинам и объектам на уровне пользователей, групп и сервисных аккаунтов. Поддерживаются роли, такие как Storage Admin, Storage Object Admin и Storage Object Viewer.

ACL (Access Control Lists)

Списки управления доступом позволяют задавать права на чтение и запись для отдельных объектов или корзин. ACL могут быть назначены как для конкретных пользователей, так и для групп Google.

Шифрование

Все данные в Google Cloud Storage шифруются на стороне сервера с использованием алгоритма AES-256. Google также поддерживает возможность использования собственных ключей шифрования (Customer-Supplied Encryption Keys, CSEK) или ключей, управляемых через Cloud Key Management Service (KMS).

Подписанные URL

Подписанные URL позволяют предоставить временный доступ к объекту без необходимости аутентификации. Это полезно для предоставления доступа к файлам сторонним пользователям или для загрузки данных в корзину.

Применение

Google Cloud Storage используется в различных сценариях, включая:

Веб-сайты и приложения: хранение статических файлов (изображения, CSS, JavaScript) и медиаконтента.
Резервное копирование и восстановление: хранение резервных копий баз данных, виртуальных машин и файловых систем.
Архивирование: долгосрочное хранение юридических документов, исторических данных и логов.
Аналитика и машинное обучение: хранение больших наборов данных для обучения моделей и анализа.
Медиа и развлечения: хранение и распространение видео, аудио и изображений.
Интернет вещей (IoT): хранение данных с датчиков и устройств.

Интеграция с другими сервисами

Google Cloud Storage интегрируется с большинством сервисов Google Cloud Platform, включая:

Compute Engine: виртуальные машины могут использовать корзины Cloud Storage для хранения образов дисков и пользовательских данных.
BigQuery: данные из Cloud Storage могут быть загружены в BigQuery для анализа.
Cloud Functions: функции могут быть запущены при загрузке или удалении объектов в корзине.
Cloud CDN: контент из Cloud Storage может быть кэширован на граничных узлах для ускорения доставки.
Dataflow: сервис для обработки потоковых и пакетных данных может читать и записывать данные в Cloud Storage.

Ограничения и цены

Google Cloud Storage имеет ряд ограничений, включая максимальный размер объекта (5 ТБ) и максимальный размер корзины (ограничен только квотой проекта). Цены зависят от класса хранения, региона, объёма хранимых данных и количества операций (чтение, запись, удаление). Дополнительно взимается плата за сетевой трафик при передаче данных из облака. Google предоставляет калькулятор цен для оценки стоимости использования сервиса.

Критика

Основные критические замечания в адрес Google Cloud Storage связаны с его стоимостью при больших объёмах данных и частом доступе, а также с зависимостью от экосистемы Google Cloud Platform. Некоторые пользователи отмечают сложность настройки политик доступа и управления правами. Также высказываются опасения по поводу привязки к поставщику (vendor lock-in), так как миграция данных из Cloud Storage в другие облачные платформы может быть затратной и трудоёмкой.

Источники

Официальная документация Google Cloud Storage
Google Cloud Platform: руководство по классам хранения
Google Cloud Platform: руководство по репликации данных
Google Cloud Platform: руководство по безопасности
Статья «Google Cloud Storage: A Comprehensive Guide» на сайте Cloud Academy

BFOmetr — база данных и аналитика по компаниям России.

На главную BFOmetr →