SAN

SAN (Storage Area Network, сеть хранения данных) — это специализированная высокоскоростная сеть, предназначенная для объединения устройств хранения данных (дисковых массивов, ленточных библиотек) с серверами. В отличие от систем прямого подключения (DAS) или сетевых хранилищ (NAS), SAN предоставляет серверам доступ к блочным устройствам хранения на уровне операционной системы, что позволяет использовать их как локальные диски. Основная цель SAN — обеспечить централизованное, надёжное и высокопроизводительное хранение данных, доступное множеству серверов одновременно.

История

Концепция SAN начала формироваться в конце 1980-х — начале 1990-х годов, когда рост объёмов данных и требований к производительности баз данных и корпоративных приложений превысил возможности традиционных архитектур хранения. Первые реализации SAN использовали Fibre Channel (FC) — протокол, изначально разработанный для суперкомпьютеров. В 1994 году был опубликован стандарт Fibre Channel (ANSI X3.230-1994), который стал основой для большинства коммерческих SAN.

В 2000-х годах получил распространение протокол iSCSI (Internet Small Computer System Interface), позволяющий строить SAN на базе стандартной Ethernet-инфраструктуры, что значительно снизило стоимость внедрения. В 2010-х годах появились протоколы Fibre Channel over Ethernet (FCoE) и NVMe over Fabrics (NVMe-oF), ориентированные на уменьшение задержек и увеличение пропускной способности. К 2020-м годам SAN стали стандартом де-факто для корпоративных центров обработки данных (ЦОД), банковского сектора, телекоммуникаций и государственных информационных систем.

Архитектура и компоненты

SAN состоит из трёх основных уровней: уровня серверов (хостов), уровня сети (коммутации) и уровня хранения (устройств).

Уровень серверов (хосты)

Каждый сервер, подключённый к SAN, оснащается специальным адаптером — Host Bus Adapter (HBA) для Fibre Channel или сетевым интерфейсом (NIC) с поддержкой iSCSI. HBA обеспечивает передачу команд SCSI поверх протокола Fibre Channel. Для работы с SAN на сервере устанавливается драйвер и, как правило, многопутевое программное обеспечение (Multipath I/O), которое позволяет использовать несколько физических путей к одному диску для повышения отказоустойчивости и балансировки нагрузки.

Уровень сети (коммутации)

Сеть SAN строится на основе специализированных коммутаторов (Fibre Channel switches) или коммутаторов Ethernet с поддержкой iSCSI или FCoE. Коммутаторы Fibre Channel образуют фабрику (fabric) — топологию, в которой каждый узел может связаться с любым другим через коммутаторы. Фабрика использует протокол FSPF (Fabric Shortest Path First) для маршрутизации. В современных SAN применяются коммутаторы с пропускной способностью от 8 Гбит/с до 64 Гбит/с на порт (Fibre Channel Gen 7). Для iSCSI-сетей используются обычные коммутаторы Ethernet, но с поддержкой Jumbo Frames, Flow Control и изоляции трафика (VLAN).

Уровень хранения (устройства)

Основными устройствами хранения в SAN являются дисковые массивы (storage arrays) и ленточные библиотеки. Дисковые массивы могут содержать от нескольких до тысяч жёстких дисков (HDD) или твердотельных накопителей (SSD), объединённых в RAID-группы. Контроллер массива управляет распределением данных, кэшированием и предоставлением логических томов (LUN — Logical Unit Number) серверам. Ленточные библиотеки используются для резервного копирования и архивирования. Современные массивы поддерживают дедупликацию, сжатие, автоматическое тиринг (тонкое выделение) и репликацию данных.

Протоколы и технологии

SAN использует несколько ключевых протоколов, каждый из которых определяет способ передачи данных и уровень производительности.

Fibre Channel (FC)

Fibre Channel — основной протокол для высокопроизводительных SAN. Он обеспечивает низкую задержку (менее 1 мкс), высокую пропускную способность (до 128 Гбит/с в версии Gen 7) и гарантированную доставку кадров. FC работает на физическом уровне с оптоволоконными или медными кабелями. Топология Fibre Channel может быть точкой-точкой, арбитражным кольцом (FC-AL) или коммутируемой фабрикой (наиболее распространённая). Для управления именами устройств используется World Wide Name (WWN) — уникальный 64-битный идентификатор.

iSCSI

iSCSI (Internet Small Computer System Interface) — протокол, инкапсулирующий команды SCSI в пакеты TCP/IP. Это позволяет строить SAN на стандартной Ethernet-инфраструктуре, что снижает стоимость оборудования и упрощает администрирование. iSCSI работает на скоростях 1, 10, 25, 40 и 100 Гбит/с Ethernet. Для обеспечения безопасности используется аутентификация CHAP и шифрование IPsec. Недостатками iSCSI являются более высокая задержка (по сравнению с FC) и зависимость от производительности сети TCP/IP.

Fibre Channel over Ethernet (FCoE)

FCoE — технология, позволяющая передавать кадры Fibre Channel напрямую по Ethernet-сетям, без инкапсуляции в TCP/IP. Для этого требуется поддержка Lossless Ethernet (IEEE 802.1Qbb, 802.1Qaz, 802.1Qau). FCoE объединяет преимущества FC (низкая задержка, надёжность) и Ethernet (низкая стоимость, универсальность). Обычно используется в конвергентных сетях, где один кабель передаёт и трафик SAN, и обычный LAN-трафик.

NVMe over Fabrics (NVMe-oF)

NVMe-oF — современный протокол, предназначенный для подключения SSD-накопителей через сеть с минимальной задержкой. Он использует команды NVMe (Non-Volatile Memory Express) и может работать поверх Fibre Channel (FC-NVMe), Ethernet (NVMe/TCP) или InfiniBand (NVMe/RDMA). NVMe-oF позволяет достичь задержки менее 10 мкс, что делает его подходящим для высоконагруженных баз данных, аналитики в реальном времени и искусственного интеллекта.

Виды SAN

SAN классифицируются по используемому протоколу и топологии.

По протоколу

• FC SAN — классическая архитектура на основе Fibre Channel. Обеспечивает максимальную производительность и надёжность, но требует специализированного оборудования (HBA, коммутаторы, кабели).
• iSCSI SAN — бюджетное решение на базе Ethernet. Подходит для средних и малых предприятий, где не требуется экстремальная производительность.
• FCoE SAN — гибридная архитектура, объединяющая FC и Ethernet. Используется в крупных ЦОД для консолидации сетей.
• NVMe-oF SAN — новейшая архитектура, ориентированная на SSD и высокопроизводительные вычисления. Требует поддержки RDMA (Remote Direct Memory Access).

По топологии

• Точка-точка — прямое соединение сервера с массивом хранения. Используется редко, в основном для тестовых или изолированных систем.
• Арбитражное кольцо (FC-AL) — устаревшая топология, где устройства подключаются в кольцо. Имеет ограничения по производительности и масштабируемости.
• Коммутируемая фабрика — наиболее распространённая топология, где все устройства подключаются к коммутаторам. Обеспечивает высокую масштабируемость, отказоустойчивость и производительность.

Применение

SAN широко используется в корпоративных и государственных информационных системах, где требуется централизованное, высокопроизводительное и отказоустойчивое хранение данных.

• Базы данных — Oracle, Microsoft SQL Server, PostgreSQL, MySQL. SAN обеспечивает низкую задержку и высокую пропускную способность для транзакционных систем (OLTP) и аналитических запросов (OLAP).
• Виртуализация — платформы VMware vSphere, Microsoft Hyper-V, KVM. SAN позволяет хранить образы виртуальных машин, диски и снапшоты на централизованном хранилище, обеспечивая live migration и высокую доступность.
• Резервное копирование и архивирование — подключение ленточных библиотек и дисковых массивов для создания резервных копий. SAN позволяет выполнять резервное копирование без нагрузки на локальную сеть (LAN-free backup).
• Высокопроизводительные вычисления (HPC) — кластеры для научных расчётов, моделирования, обработки изображений. SAN обеспечивает параллельный доступ к данным с высокой пропускной способностью.
• Медиа и вещание — хранение и редактирование видеофайлов высокого разрешения, нелинейный монтаж. SAN позволяет нескольким рабочим станциям одновременно работать с одними и теми же файлами.
• Государственные и финансовые системы — системы электронного документооборота, банковские транзакционные системы, реестры. SAN обеспечивает высокую надёжность и соответствие требованиям к отказоустойчивости (например, федеральный закон № 152-ФЗ «О персональных данных»).

Преимущества и недостатки

Преимущества

• Централизация хранения — все данные хранятся в одном месте, что упрощает управление, резервное копирование и обеспечение безопасности.
• Высокая производительность — низкая задержка и высокая пропускная способность, особенно в FC SAN и NVMe-oF SAN.
• Масштабируемость — возможность добавления новых серверов и устройств хранения без остановки работы системы.
• Отказоустойчивость — поддержка многопутевого доступа, зеркалирования, репликации и кластеризации.
• Гибкость — возможность предоставлять серверам ровно столько дискового пространства, сколько необходимо (тонкое выделение).

Недостатки

• Высокая стоимость — оборудование Fibre Channel (HBA, коммутаторы, кабели) значительно дороже Ethernet-аналогов. Даже iSCSI SAN требует качественных коммутаторов и сетевых адаптеров.
• Сложность администрирования — настройка зонирования (zoning), LUN-маскирования, многопутевого доступа и резервного копирования требует квалифицированных специалистов.
• Зависимость от сети — сбои в сети SAN могут привести к потере доступа к данным для всех подключённых серверов.
• Ограничения по расстоянию — Fibre Channel имеет ограничения на длину сегмента (до 10 км без повторителей), хотя с использованием оптических усилителей и DWDM расстояние может быть увеличено.

Критика и альтернативы

Основная критика SAN связана с высокой стоимостью и сложностью, особенно для малых и средних предприятий. В качестве альтернатив рассматриваются:

• NAS (Network Attached Storage) — файловое хранилище, доступное по протоколам NFS и SMB. Проще в настройке, но имеет более высокую задержку и не поддерживает блочный доступ.
• DAS (Direct Attached Storage) — прямое подключение дисков к серверу. Дешево, но не позволяет централизовать хранение и не обеспечивает высокой доступности.
• Гиперконвергентные системы — объединение вычислительных ресурсов и хранения в одном узле (например, VMware vSAN, Nutanix, Microsoft Storage Spaces Direct). Упрощают управление, но могут быть менее производительными для некоторых нагрузок.
• Облачные хранилища — объектные и блочные хранилища, предоставляемые по модели IaaS (например, Amazon EBS, Яндекс.Облако). Требуют постоянного интернет-соединения и могут иметь непредсказуемую задержку.

Перспективы развития

Развитие SAN связано с увеличением пропускной способности (Fibre Channel Gen 7 — 64 Гбит/с, Gen 8 — 128 Гбит/с), внедрением NVMe-oF и переходом на полностью оптоволоконные соединения. Ожидается, что SAN будут всё больше интегрироваться с облачными платформами через гибридные решения, а также использовать технологии искусственного интеллекта для автоматического управления производительностью и отказоустойчивостью.

Источники

• ANSI INCITS 230-1994 (Fibre Channel Physical and Signaling Interface)
• SNIA (Storage Networking Industry Association) — «Storage Networking Concepts and Technologies»
• RFC 3720 (Internet Small Computer System Interface — iSCSI)
• IEEE 802.1Qbb (Priority-based Flow Control)
• NVM Express, Inc. — «NVMe over Fabrics Revision 1.1»
• Книга: «Storage Area Networks: Designing and Implementing a SAN» — Robert Spalding, 2003
• Документация VMware vSphere — «Storage Area Network (SAN) Configuration»