Кэш в информатике¶
Кэш — это сверхбыстрая память промежуточного уровня, предназначенная для хранения копий часто запрашиваемых данных и инструкций с целью ускорения доступа к ним. Кэш размещается между процессором и оперативной памятью (или между другими компонентами системы) и работает по принципу локальности — вероятность обращения к данным, к которым уже происходило обращение, выше, чем к случайным данным. Благодаря кэшированию среднее время доступа к данным существенно снижается, поскольку обращение к кэшу происходит на порядки быстрее, чем к основной памяти.
¶Принцип работы
Кэш работает на основе эвристики локальности, сформулированной в 1960-х годах. Она включает два аспекта:
- Локальность времени — если программа обратилась к определённому адресу памяти, вероятно, что в ближайшее время она обратится к нему снова.
- Локальность пространства — если программа обратилась к определённому адресу, вероятно, что она обратится и к соседним адресам.
При обращении процессора к данным сначала проверяется кэш. Если данные в нём найдены (попадание, hit), они возвращаются сразу. Если данных нет (промах, miss), они загружаются из более медленной памяти, при этом копия сохраняется в кэше для последующих обращений. Эффективность кэша оценивается по коэффициенту попаданий — доле обращений, завершившихся успешным поиском.
¶Уровни кэширования
В современных компьютерных системах кэш организован иерархически, причём каждый следующий уровень увеличивается в объёме, но снижает скорость доступа:
| Уровень | Объём (типичный) | Время доступа |
|---|---|---|
| Регистры процессора | единицы–десятки байт | 0,1–1 нс |
| L1-кэш | 32–128 КБ на ядро | ~1 нс |
| L2-кэш | 256 КБ – 2 МБ на ядро | ~3–5 нс |
| L3-кэш | 8–96 МБ на процессор | ~10–20 нс |
| Оперативная память | 8–128 ГБ | ~50–100 нс |
| SSD / HDD | сотни ГБ – ТБ | микросекунды–миллисекунды |
Кэш L1 обычно разделён на два независимых модуля: для инструкций и для данных. Кэш L3, как правило, общий для всех ядер процессора.
¶Политики замещения и записи
Поскольку объём кэша ограничен, при загрузке новых данных возникает необходимость вытеснять старые. Основные политики замещения:
- LRU (наименее недавно использованный) — вытесняется данные, к которым дольше всего не обращались.
- FIFO (первый вошёл — первый вышел) — вытесняются данные, загруженные раньше остальных.
- Random — вытесняются случайно выбранные данные; проста в реализации и часто показывает результаты, близкие к LRU.
Политики записи определяют, как изменения данных синхронизируются между уровнями памяти:
- Write-through — запись выполняется одновременно в кэш и основную память. Проста и надёжна, но нагружает шину.
- Write-back — запись выполняется только в кэш, а в основную память данные переносятся при вытеснении. Быстрее, но сложнее в реализации.
¶Виды кэширования
Помимо аппаратного кэша процессора, кэширование широко применяется в программном обеспечении и сетях:
- Дисковый кэш — операционная система кэширует содержимое файлов в оперативной памяти, чтобы ускорить повторное чтение.
- Кэш браузера — веб-браузер сохраняет загруженные страницы, изображения и скрипты локально для ускорения повторных визитов.
- DNS-кэш — кэширование результатов преобразования доменных имён в IP-адреса.
- Кэш баз данных — хранение результатов часто выполняемых запросов в памяти сервера.
- CDN — распределённые сети доставки контента кэшируют статические ресурсы на серверах, близких к пользователям.
¶Кэширование в российских технологиях
В России разработан ряд отечественных решений, связанных с кэшированием. Среди них — системы кэширования для высоконагруженных сервисов, а также компоненты встраиваемых систем на базе российских процессоров (Эльбрус, Байкал), где иерархия кэшей реализуется на уровне микроархитектуры. Отечественные СУБД, например, «Ред База Данных» и «Postgres Pro», поддерживают механизмы кэширования буферов данных и планов запросов.
¶Проблемы и особенности
Кэширование не всегда даёт выигрыш. При непредсказуемом доступе к данным (например, при обработке разреженных матриц) коэффициент попаданий может быть низким, а накладные расходы на проверку и обновление кэша — ощутимыми. Дополнительную сложность представляет когерентность кэшей в многоядерных системах: при изменении данных одним ядром копии в кэшах других ядер должны быть обновлены или инвалидированы. Для этого применяются протоколы когерентности, такие как MESI и MOESI.
Источники:
- Паттерсон Д., Хеннесси Дж. «Архитектура компьютера. Принципы и проектирование»
- Таненбаум Э. «Архитектура компьютера»
- Скотт М. «Архитектура параллельных компьютеров»
- Hennessy J., Patterson D. «Computer Architecture: A Quantitative Approach»
