Открыть сервисСервис

Кэш в информатике

Кэш — это сверхбыстрая память промежуточного уровня, предназначенная для хранения копий часто запрашиваемых данных и инструкций с целью ускорения доступа к ним. Кэш размещается между процессором и оперативной памятью (или между другими компонентами системы) и работает по принципу локальности — вероятность обращения к данным, к которым уже происходило обращение, выше, чем к случайным данным. Благодаря кэшированию среднее время доступа к данным существенно снижается, поскольку обращение к кэшу происходит на порядки быстрее, чем к основной памяти.

Принцип работы

Кэш работает на основе эвристики локальности, сформулированной в 1960-х годах. Она включает два аспекта:

  • Локальность времени — если программа обратилась к определённому адресу памяти, вероятно, что в ближайшее время она обратится к нему снова.
  • Локальность пространства — если программа обратилась к определённому адресу, вероятно, что она обратится и к соседним адресам.

При обращении процессора к данным сначала проверяется кэш. Если данные в нём найдены (попадание, hit), они возвращаются сразу. Если данных нет (промах, miss), они загружаются из более медленной памяти, при этом копия сохраняется в кэше для последующих обращений. Эффективность кэша оценивается по коэффициенту попаданий — доле обращений, завершившихся успешным поиском.

Уровни кэширования

В современных компьютерных системах кэш организован иерархически, причём каждый следующий уровень увеличивается в объёме, но снижает скорость доступа:

УровеньОбъём (типичный)Время доступа
Регистры процессораединицы–десятки байт0,1–1 нс
L1-кэш32–128 КБ на ядро~1 нс
L2-кэш256 КБ – 2 МБ на ядро~3–5 нс
L3-кэш8–96 МБ на процессор~10–20 нс
Оперативная память8–128 ГБ~50–100 нс
SSD / HDDсотни ГБ – ТБмикросекунды–миллисекунды

Кэш L1 обычно разделён на два независимых модуля: для инструкций и для данных. Кэш L3, как правило, общий для всех ядер процессора.

Политики замещения и записи

Поскольку объём кэша ограничен, при загрузке новых данных возникает необходимость вытеснять старые. Основные политики замещения:

  • LRU (наименее недавно использованный) — вытесняется данные, к которым дольше всего не обращались.
  • FIFO (первый вошёл — первый вышел) — вытесняются данные, загруженные раньше остальных.
  • Random — вытесняются случайно выбранные данные; проста в реализации и часто показывает результаты, близкие к LRU.

Политики записи определяют, как изменения данных синхронизируются между уровнями памяти:

  • Write-through — запись выполняется одновременно в кэш и основную память. Проста и надёжна, но нагружает шину.
  • Write-back — запись выполняется только в кэш, а в основную память данные переносятся при вытеснении. Быстрее, но сложнее в реализации.

Виды кэширования

Помимо аппаратного кэша процессора, кэширование широко применяется в программном обеспечении и сетях:

  • Дисковый кэш — операционная система кэширует содержимое файлов в оперативной памяти, чтобы ускорить повторное чтение.
  • Кэш браузера — веб-браузер сохраняет загруженные страницы, изображения и скрипты локально для ускорения повторных визитов.
  • DNS-кэш — кэширование результатов преобразования доменных имён в IP-адреса.
  • Кэш баз данных — хранение результатов часто выполняемых запросов в памяти сервера.
  • CDN — распределённые сети доставки контента кэшируют статические ресурсы на серверах, близких к пользователям.

Кэширование в российских технологиях

В России разработан ряд отечественных решений, связанных с кэшированием. Среди них — системы кэширования для высоконагруженных сервисов, а также компоненты встраиваемых систем на базе российских процессоров (Эльбрус, Байкал), где иерархия кэшей реализуется на уровне микроархитектуры. Отечественные СУБД, например, «Ред База Данных» и «Postgres Pro», поддерживают механизмы кэширования буферов данных и планов запросов.

Проблемы и особенности

Кэширование не всегда даёт выигрыш. При непредсказуемом доступе к данным (например, при обработке разреженных матриц) коэффициент попаданий может быть низким, а накладные расходы на проверку и обновление кэша — ощутимыми. Дополнительную сложность представляет когерентность кэшей в многоядерных системах: при изменении данных одним ядром копии в кэшах других ядер должны быть обновлены или инвалидированы. Для этого применяются протоколы когерентности, такие как MESI и MOESI.

Источники:

  • Паттерсон Д., Хеннесси Дж. «Архитектура компьютера. Принципы и проектирование»
  • Таненбаум Э. «Архитектура компьютера»
  • Скотт М. «Архитектура параллельных компьютеров»
  • Hennessy J., Patterson D. «Computer Architecture: A Quantitative Approach»
Заметили ошибку или не согласны с информацией в статье? Напишите нам support@bfometr.ru