io_uring¶
io_uring — это асинхронный интерфейс ввода-вывода (I/O) для операционной системы Linux, представленный в ядре версии 5.1 (2019 год). Он разработан как альтернатива традиционным системным вызовам (таким как read, write, select, epoll) и более ранним механизмам асинхронного ввода-вывода (AIO, libaio). Основная цель io_uring — снижение накладных расходов на операции ввода-вывода за счёт использования кольцевых буферов (ring buffers) в общей памяти, что позволяет избежать частого переключения контекста между пользовательским и ядерным пространством. Интерфейс поддерживает как чтение и запись файлов, так и сетевые операции, а также работу с таймерами и сигналами.
¶История
Разработка io_uring была начата в 2018 году инженером Йенсом Аксбо (Jens Axboe), одним из ключевых мейнтейнеров подсистемы блочного ввода-вывода в ядре Linux. Необходимость создания нового интерфейса была вызвана ограничениями существовавшего механизма Linux AIO (libaio), который имел существенные недостатки: он не поддерживал буферизованный ввод-вывод, работал только с прямым доступом к устройствам (O_DIRECT), имел сложный API и высокие накладные расходы при большом количестве одновременных операций. io_uring был предложен как универсальное решение, способное заменить как libaio, так и традиционные синхронные вызовы.
Первая стабильная версия io_uring появилась в ядре Linux 5.1 (май 2019 года). В последующих версиях ядра функциональность была расширена: добавлена поддержка сетевых операций (accept, connect, send, recv), таймеров, а также операций с файловыми дескрипторами (например, openat, statx). В ядре 5.19 (2022 год) была введена поддержка многосвязных буферов (multi-shot), позволяющих обрабатывать несколько событий от одного запроса, что особенно полезно для сетевых приложений.
¶Архитектура и принцип работы
¶Кольцевые буферы
Основой io_uring являются два кольцевых буфера, расположенных в памяти, доступной как пользовательскому, так и ядерному пространству:
- Submission Queue (SQ) — очередь отправки запросов. Приложение (пользовательский процесс) записывает в неё описания операций ввода-вывода (Submission Queue Entries, SQE).
- Completion Queue (CQ) — очередь завершения. Ядро записывает в неё результаты выполнения операций (Completion Queue Events, CQE).
Такая архитектура позволяет минимизировать количество системных вызовов: приложение может подготовить несколько запросов в SQ, а затем одним вызовом io_uring_enter (или io_uring_submit в пользовательской библиотеке) уведомить ядро о готовности. Ядро обрабатывает запросы асинхронно и помещает результаты в CQ, откуда приложение их считывает без дополнительных системных вызовов (в режиме опроса, polling).
¶Режимы работы
io_uring поддерживает несколько режимов выполнения:
- Interrupt-driven (прерывания) — стандартный режим, при котором ядро уведомляет приложение о завершении операции через сигнал или событие в CQ. Требует системного вызова
io_uring_enterдля извлечения завершённых событий. - Kernel polling (опроса ядром) — режим, при котором ядро непрерывно опрашивает SQ на наличие новых запросов, не требуя системного вызова для их отправки. Включается флагом
IORING_SETUP_SQPOLL. Это снижает задержки, но увеличивает нагрузку на процессор. - User polling (опроса пользователем) — приложение может считывать CQ без системных вызовов, используя барьеры памяти (memory barriers). Это возможно благодаря тому, что CQ отображается в память пользователя.
¶Фиксированные буферы и файлы
Для повышения производительности io_uring поддерживает предварительную регистрацию буферов и файловых дескрипторов. Приложение может зафиксировать (pin) область памяти или файловый дескриптор, после чего ядро может обращаться к ним напрямую, без повторных копирований и проверок прав доступа. Это особенно эффективно при повторяющихся операциях с одними и теми же данными.
¶Преимущества и недостатки
¶Преимущества
- Низкие накладные расходы: io_uring позволяет выполнять тысячи операций ввода-вывода в секунду с минимальным числом системных вызовов. В режиме SQPOLL системный вызов может вообще не требоваться для отправки запросов.
- Универсальность: поддерживает как файловый, так и сетевой ввод-вывод, а также буферизованный и прямой доступ.
- Асинхронность: операции не блокируют вызывающий поток, что позволяет эффективно использовать ресурсы в приложениях с большим числом одновременных запросов (например, веб-серверы, базы данных).
- Совместимость: io_uring может работать с существующим кодом через обёртки (например, в библиотеке
liburing), не требуя полного переписывания приложений.
¶Недостатки
- Сложность программирования: прямой API io_uring низкоуровнев и требует управления памятью, барьерами и кольцевыми буферами. Для упрощения используется библиотека
liburing, но она не решает всех проблем. - Зависимость от версии ядра: некоторые функции (например, многосвязные буферы, поддержка сетевых операций) доступны только в новых версиях ядра (5.19+). Для старых систем функциональность ограничена.
- Потенциальные проблемы с безопасностью: из-за прямого доступа к памяти ядра неправильное использование io_uring может привести к утечкам данных или сбоям. В ядре 5.15 были обнаружены уязвимости (CVE-2021-41073), связанные с io_uring, которые были исправлены в последующих обновлениях.
- Неоптимальность для некоторых сценариев: для очень коротких операций (например, чтение нескольких байт) накладные расходы на подготовку запроса могут превышать выгоду от асинхронности.
¶Применение
io_uring активно используется в высоконагруженных системах, где требуется максимальная производительность ввода-вывода:
- Веб-серверы: например, проект
io_uring-http-serverдемонстрирует, как io_uring может обрабатывать миллионы запросов в секунду. Nginx и Apache начали экспериментировать с поддержкой io_uring. - Базы данных: PostgreSQL, MySQL и другие СУБД используют io_uring для ускорения операций чтения/записи, особенно на SSD-накопителях.
- Файловые системы и хранилища: в распределённых файловых системах (например, Ceph) io_uring применяется для уменьшения задержек при передаче данных.
- Сетевые приложения: io_uring поддерживает операции
accept,connect,sendmsg,recvmsg, что позволяет строить полностью асинхронные сетевые серверы без использованияepollилиselect. - Научные вычисления: в задачах, требующих интенсивного ввода-вывода (например, обработка больших массивов данных), io_uring может значительно ускорить выполнение.
¶Библиотека liburing
Для упрощения работы с io_uring разработана библиотека liburing, которая предоставляет высокоуровневый API. Она автоматизирует создание кольцевых буферов, управление памятью и синхронизацию. Пример использования:
```c
¶include <liburing.h>
int main() { struct io_uring ring; io_uring_queue_init(32, &ring, 0); // инициализация кольца на 32 записи struct io_uring_sqe sqe = io_uring_get_sqe(&ring); io_uring_prep_read(sqe, fd, buf, size, offset); // подготовка чтения io_uring_submit(&ring); // отправка запроса struct io_uring_cqe cqe; io_uring_wait_cqe(&ring, &cqe); // ожидание завершения // обработка результата io_uring_cqe_seen(&ring, cqe); io_uring_queue_exit(&ring); return 0; } ```
liburing входит в состав большинства дистрибутивов Linux (пакет liburing-dev или liburing-devel).
¶Сравнение с другими интерфейсами
| Характеристика | io_uring | libaio (Linux AIO) | epoll | select/poll |
|---|---|---|---|---|
| Тип ввода-вывода | Асинхронный, файловый и сетевой | Асинхронный, только прямой (O_DIRECT) | Синхронный, только сетевой | Синхронный, только сетевой |
| Системные вызовы на операцию | Один на много запросов | Один на запрос | Один на много событий | Один на много дескрипторов |
| Поддержка буферизованного I/O | Да | Нет | Н/Д | Н/Д |
| Сложность API | Высокая (с liburing — средняя) | Средняя | Низкая | Низкая |
| Производительность (высокая нагрузка) | Очень высокая | Средняя | Высокая | Низкая |
¶Интересные факты
- io_uring был разработан как ответ на проблемы libaio, который не получил широкого распространения из-за ограничений. По состоянию на 2024 год io_uring считается стандартом де-факто для асинхронного ввода-вывода в Linux.
- В ядре Linux 6.0 (2022 год) была добавлена поддержка io_uring для операций с файловыми системами, такими как
mkdir,unlink,rename, что позволяет выполнять файловые операции без блокировок. - io_uring используется в проекте
seastar(фреймворк для высокопроизводительных серверов) и вtokio-uring(асинхронный Rust-фреймворк). - Разработчик io_uring Йенс Аксбо также известен как создатель планировщика ввода-вывода CFQ (Completely Fair Queuing) и мейнтейнер подсистемы блочного ввода-вывода.
