Expedited retrieval

Экспедированное извлечение (англ. expedited retrieval) — это процедура ускоренного доступа к данным, хранящимся в системах резервного копирования, архивирования или долговременного хранения, при которой время получения информации значительно сокращается по сравнению со стандартными процессами восстановления. В отличие от обычного восстановления, которое может занимать часы или дни (особенно при работе с ленточными накопителями или облачными архивами), экспедированное извлечение обеспечивает приоритетный доступ к запрошенным данным, часто за счёт использования кэширования, выделенных каналов связи или предварительной разметки носителей. Данная технология применяется в корпоративных IT-инфраструктурах, системах управления базами данных, облачных сервисах и в сфере кибербезопасности — в частности, для оперативного реагирования на инциденты (например, атаки программ-вымогателей) или выполнения юридически значимых запросов (e-discovery).

История возникновения

Необходимость в экспедированном извлечении возникла по мере роста объёмов хранимых данных и усложнения инфраструктур резервного копирования. В 1980–1990-х годах основным носителем для долговременного хранения были магнитные ленты (например, форматы Digital Linear Tape, LTO). Восстановление данных с ленты требовало последовательного считывания, и при большом количестве запросов время ожидания могло достигать нескольких суток. В 2000-х годах с распространением дисковых массивов (RAID) и сетей хранения данных (SAN) появилась возможность реализовать механизмы приоритетного доступа.

Термин «expedited retrieval» вошёл в профессиональный оборот в середине 2000-х годов в контексте решений для аварийного восстановления (disaster recovery) и соответствия нормативным требованиям (например, Sarbanes-Oxley Act в США, GDPR в Европе). В России аналогичные функции стали внедряться в коммерческих СУБД и системах резервного копирования (например, «Скала-Р», «Acronis Backup Advanced») с 2010-х годов.

Принципы работы

Приоритизация запросов

Система управления хранением присваивает запросам на извлечение данных различные уровни приоритета. Экспедированное извлечение получает наивысший приоритет, что означает:

• выделение максимальной пропускной способности каналов связи;
• резервирование вычислительных ресурсов (процессор, оперативная память) для обработки запроса;
• обход стандартных очередей и процедур контроля целостности (если это допустимо политиками безопасности).

Кэширование и предварительная загрузка

Для ускорения доступа часто используется многоуровневое кэширование. Данные, которые могут быть запрошены в рамках экспедированного извлечения, предварительно копируются с медленных носителей (лент, холодных облачных хранилищ) на быстрые (SSD, NVMe). В некоторых системах применяется механизм «предсказательного извлечения» — на основе анализа истории запросов или метаданных.

Параллельная обработка

В отличие от последовательного чтения, экспедированное извлечение может задействовать несколько потоков ввода-вывода одновременно. Например, при восстановлении крупного файла (более 100 ГБ) система разбивает его на блоки и считывает их параллельно с разных физических носителей или облачных регионов.

Классификация

По способу реализации экспедированное извлечение можно разделить на три основных типа:

• Программное — реализуется на уровне операционной системы или приложения (например, в СУБД Oracle Recovery Manager, Microsoft SQL Server). Включает приоритетные очереди и динамическое распределение ресурсов.
• Аппаратное — использует специализированные контроллеры хранения (например, в системах хранения данных Dell EMC PowerMax, NetApp AFF). Поддерживает аппаратное ускорение операций ввода-вывода.
• Гибридное — сочетает программные и аппаратные методы, часто применяется в облачных платформах (Amazon S3 Expedited Retrieval, Google Cloud Nearline).

По типу доступа выделяют:

• Оперативное экспедированное извлечение — данные доступны в течение 1–5 минут (характерно для горячих хранилищ).
• Холодное экспедированное извлечение — данные извлекаются из архивов за 1–12 часов (например, Amazon Glacier Expedited).

Применение

Аварийное восстановление (Disaster Recovery)

При сбоях оборудования, природных катастрофах или кибератаках критически важно как можно быстрее восстановить работу систем. Экспедированное извлечение позволяет в течение минут получить последние резервные копии баз данных, конфигураций серверов и пользовательских данных. В России данная функция активно используется в государственных информационных системах (ГИС), например, в Единой государственной информационной системе в сфере здравоохранения (ЕГИСЗ).

Судебные разбирательства и e-discovery

В юридической практике (особенно в США и странах ЕС) существуют требования к оперативному предоставлению электронных документов по запросу суда или регулирующих органов. Экспедированное извлечение позволяет адвокатам и корпоративным юристам в сжатые сроки (часто — 24–72 часа) собрать и передать необходимые данные.

Кибербезопасность

При расследовании инцидентов (например, атаки программ-вымогателей) требуется быстро извлечь логи, дампы памяти и резервные копии до момента заражения. Экспедированное извлечение используется в платформах класса SOAR (Security Orchestration, Automation and Response) и SIEM (Security Information and Event Management). В России подобные решения разрабатываются компаниями «Лаборатория Касперского», «Positive Technologies» и «InfoWatch».

Научные и исследовательские проекты

В проектах, связанных с обработкой больших данных (Big Data), например, в геномике, астрофизике или климатологии, экспедированное извлечение позволяет исследователям оперативно получать доступ к архивам спутниковых снимков, результатов экспериментов или симуляций.

Технические ограничения и критика

Экспедированное извлечение сопряжено с рядом ограничений:

• Стоимость — услуги ускоренного доступа в облачных провайдерах (AWS, Azure, Google Cloud) тарифицируются по повышенным ставкам. Например, в Amazon S3 Glacier Expedited Retrieval стоимость за 1 ГБ может быть в 10–20 раз выше, чем стандартное извлечение.
• Нагрузка на инфраструктуру — приоритетное выделение ресурсов может замедлить выполнение других операций (стандартных запросов, фонового резервного копирования).
• Ограничения по объёму — в некоторых системах экспедированное извлечение доступно только для данных размером до определённого порога (например, до 250 МБ в Amazon S3 Glacier).
• Риски безопасности — ускоренный доступ может обходить некоторые механизмы контроля целостности и шифрования, что потенциально увеличивает уязвимость к атакам.

Критики отмечают, что в ряде случаев экспедированное извлечение является маркетинговым термином, а реальное ускорение достигается за счёт предварительного кэширования, которое может быть неэффективным при редких или уникальных запросах. Также высказываются опасения, что чрезмерное использование данной функции может привести к деградации производительности всей системы хранения.

Перспективы развития

С развитием технологий хранения данных (NVMe over Fabrics, Storage Class Memory, нелетучее ОЗУ) и облачных вычислений ожидается дальнейшее снижение времени экспедированного извлечения до субсекундного уровня. Внедрение алгоритмов машинного обучения для прогнозирования запросов позволит автоматически перемещать данные на быстрые носители до того, как поступит запрос. В России ведётся разработка отечественных решений для экспедированного извлечения в рамках импортозамещения — в частности, в проектах «Скала-Р» (АО «СКАЛА-Р») и «Аэродиск» (ООО «Аэродиск»).

Источники

• Amazon Web Services. «Amazon S3 Glacier Retrieval Options». Документация AWS, 2023.
• NetApp. «NetApp AFF: Expedited Data Retrieval with NVMe». Технический обзор, 2022.
• Dell EMC. «PowerMax: Performance and Data Retrieval Acceleration». White Paper, 2021.
• «Скала-Р». Руководство администратора. Версия 5.2, 2023.
• Григорьев А. В. «Методы ускоренного восстановления данных в корпоративных системах хранения». Журнал «Информационные технологии», № 4, 2022. С. 45–52.
• Закон РФ «Об информации, информационных технологиях и о защите информации» от 27.07.2006 № 149-ФЗ (ред. от 29.12.2022).