Общее дисковое хранилище¶

Общее дисковое хранилище (англ. Shared Disk Storage) — это тип системы хранения данных, в которой несколько серверов или вычислительных узлов имеют прямой одновременный доступ к одному и тому же набору физических или логических дисковых устройств, как правило, через сеть хранения данных (SAN) или прямое подключение (DAS). В отличие от сетевых хранилищ (NAS), где доступ осуществляется на уровне файлов через сетевые протоколы, общее дисковое хранилище предоставляет доступ на уровне блоков (block-level access), что позволяет серверам работать с дисками как с локальными устройствами, управляя файловыми системами и приложениями независимо.

¶История

Концепция общего дискового хранилища возникла в 1980-х годах с развитием кластерных технологий и систем высокой доступности. Первоначально использовались специализированные интерфейсы, такие как SCSI (Small Computer System Interface), которые позволяли подключать несколько серверов к одному дисковому массиву через шину. Однако ограничения SCSI по длине кабеля и количеству устройств (до 16 на шину) стимулировали развитие Fibre Channel — оптоволоконного интерфейса, который в 1990-х годах стал стандартом для SAN.

В 2000-х годах распространение получили протоколы iSCSI (Internet Small Computer System Interface), позволяющие передавать команды SCSI по сетям Ethernet, что снизило стоимость внедрения. Параллельно развивались технологии виртуализации, такие как VMware vSAN и Microsoft Storage Spaces Direct, которые интегрировали общее дисковое хранилище в гиперконвергентные инфраструктуры. С 2010-х годов всё большее распространение получают протоколы NVMe-oF (NVMe over Fabrics), обеспечивающие низкую задержку и высокую пропускную способность для твердотельных накопителей (SSD).

¶Архитектура и принцип работы

Общее дисковое хранилище строится на трёх основных компонентах:

• Контроллеры хранения — специализированные устройства (часто с избыточностью) или программные модули, управляющие доступом к дискам, кэшированием и репликацией.
• Дисковые массивы — набор физических дисков (HDD, SSD, NVMe), объединённых в RAID-группы или пулы хранения. Логические тома (LUN — Logical Unit Number) создаются на основе этих пулов и предоставляются серверам.
• Сеть хранения данных (SAN) — выделенная сеть (Fibre Channel, iSCSI, InfiniBand), обеспечивающая высокоскоростное соединение между серверами и дисковым массивом.

¶Типы доступа

1. Симметричный доступ — все серверы имеют равные права на чтение и запись к общему тому. Требует координации через кластерное программное обеспечение (например, Oracle RAC, Microsoft Failover Cluster) для предотвращения конфликтов данных.
2. Асимметричный доступ — один сервер является активным владельцем тома, а остальные получают доступ только для чтения или через репликацию. Используется в системах высокой доступности (Active-Passive).

¶Классификация

¶По типу подключения

• Fibre Channel SAN — использует оптоволоконные каналы со скоростью до 128 Гбит/с (Gen 7). Обеспечивает минимальные задержки и высокую надёжность, но требует дорогостоящего оборудования.
• iSCSI SAN — передаёт блоки через стандартные Ethernet-сети (1/10/25/100 Гбит/с). Дешевле, но имеет большую задержку из-за накладных расходов TCP/IP.
• NVMe-oF — современный протокол, предназначенный для SSD. Работает поверх Fibre Channel, Ethernet (RoCE, iWARP) или InfiniBand. Обеспечивает задержки менее 10 мкс.
• DAS (Direct Attached Storage) — диски подключаются напрямую к серверам через SAS или SATA. Формально не является «сетевым» хранилищем, но в кластерных конфигурациях может использоваться как общее (например, в системах с двумя контроллерами).

¶По типу контроллера

• Аппаратные массивы — специализированные устройства (Dell PowerStore, NetApp AFF, HPE Nimble). Имеют собственные процессоры, кэш и прошивку.
• Программно-определяемые хранилища (SDS) — реализуются на стандартных серверах с помощью ПО (Ceph, VMware vSAN, StarWind). Гибче в настройке, но требуют больше ресурсов CPU и памяти.

¶Применение

¶Кластеры высокой доступности (HA)

Общее дисковое хранилище является основой для кластеров, где при отказе одного сервера другой мгновенно перехватывает управление томами. Примеры: Microsoft SQL Server Always On Failover Cluster Instance, PostgreSQL с Patroni. В таких конфигурациях хранилище должно быть отказоустойчивым (RAID, дублированные контроллеры, резервные каналы).

¶Системы управления базами данных (СУБД)

Крупные базы данных (Oracle, IBM Db2, SAP HANA) часто используют общее дисковое хранилище для реализации архитектуры RAC (Real Application Clusters). Несколько серверов одновременно читают и пишут в одну базу, что требует высокой пропускной способности и низкой задержки.

¶Виртуализация

В средах VMware vSphere, Microsoft Hyper-V или KVM общее дисковое хранилище позволяет хранить виртуальные машины (ВМ) на централизованном массиве. Это даёт возможность live-миграции ВМ между хостами без остановки работы. Для виртуализации часто используются протоколы NFS (для NAS) или VMFS (для SAN).

¶Высокопроизводительные вычисления (HPC)

В суперкомпьютерах и кластерах HPC общее дисковое хранилище обеспечивает параллельный доступ к данным для тысяч узлов. Используются файловые системы параллельного доступа, такие как Lustre, GPFS (IBM Spectrum Scale) или BeeGFS, которые работают поверх общего блочного хранилища.

¶Преимущества и недостатки

¶Преимущества

• Централизация управления — все данные хранятся в одном месте, упрощая резервное копирование, репликацию и аудит.
• Высокая доступность — при отказе одного сервера данные остаются доступными через другой.
• Гибкость масштабирования — можно добавлять диски или контроллеры без остановки работы.
• Производительность — прямой доступ к блокам обеспечивает меньшую задержку по сравнению с файловыми хранилищами (NAS).

¶Недостатки

• Сложность настройки — требует квалифицированных специалистов по SAN, кластеризации и протоколам хранения.
• Стоимость — аппаратные Fibre Channel-массивы и коммутаторы дороги. Программные решения (SDS) снижают затраты, но требуют лицензирования.
• Единая точка отказа — при выходе из строя контроллера или сети хранения все серверы теряют доступ к данным. Для минимизации риска применяются дублированные компоненты.
• Совместимость — не все операционные системы и приложения корректно работают с общими блочными устройствами.

¶Критика и альтернативы

Основная критика общего дискового хранилища связана с его сложностью и стоимостью. В 2010-х годах набрали популярность гиперконвергентные системы (HCI), где хранилище и вычисления объединены на одних и тех же серверах (например, Nutanix, VMware vSAN). В HCI данные реплицируются между узлами программно, что устраняет необходимость в выделенном SAN. Однако для критически важных баз данных и высоконагруженных систем традиционное общее дисковое хранилище остаётся предпочтительным из-за предсказуемой производительности.

Другой альтернативой являются облачные хранилища (Amazon EBS, Azure Disk Storage, Яндекс.Облако), которые предоставляют блочные тома по модели «как услуга». Они устраняют необходимость в собственном оборудовании, но вносят зависимость от провайдера и задержки сети.

¶Интересные факты

• Крупнейшие в мире суперкомпьютеры, такие как «Fugaku» (Япония) и «Frontier» (США), используют общее дисковое хранилище на базе файловых систем Lustre и GPFS, обеспечивающих пропускную способность в десятки терабайт в секунду.
• В 2023 году компания Pure Storage представила массив FlashArray//XL, способный обрабатывать до 15 миллионов операций ввода-вывода в секунду (IOPS) на одном контроллере.
• Протокол NVMe-oF позволяет подключать SSD к серверам на расстоянии до 10 км через оптоволокно, что открывает возможности для географически распределённых кластеров.

¶Источники

• Книга: «Storage Networking Fundamentals: An Introduction to Storage Devices, Subsystems, Applications, Management, and File Systems» — Marc Farley, 2004.
• Стандарт: Fibre Channel Physical Interface (FC-PI-7) — T11 Technical Committee, 2022.
• Документация: «Oracle Real Application Clusters (RAC) Administrator’s Guide» — Oracle Corporation, 2023.
• Статья: «NVMe over Fabrics: A Comprehensive Overview» — SNIA (Storage Networking Industry Association), 2021.
• Обзор: «Hyperconverged Infrastructure vs. Traditional SAN: A Comparison» — Gartner, 2022.