Apache Kafka: руководство и основы¶

Apache Kafka — распределённая платформенная система потоковой передачи данных (event streaming platform) с открытым исходным кодом, предназначенная для публикации, хранения и обработки потоков событий в реальном времени. Разработана в компании LinkedIn, с 2011 года развивается в рамках проекта Apache Software Foundation. Система применяется для построения шин данных, интеграции микросервисов, аналитики в реальном времени и обработки больших объёмов сообщений.

¶Назначение и ключевые характеристики

Kafka относится к классу брокеров сообщений, но отличается от классических очередей (RabbitMQ, ActiveMQ) рядом свойств:

• Распределённость — кластер состоит из нескольких узлов-брокеров, данные реплицируются между ними.
• Горизонтальное масштабирование — пропускная способность растёт при добавлении брокеров и разделов.
• Персистентность — сообщения хранятся на диске в течение заданного срока, а не удаляются сразу после прочтения.
• Высокая пропускная способность — единичный кластер способен обрабатывать миллионы сообщений в секунду.
• Модель pull — потребители сами запрашивают данные, что позволяет им читать поток с нужной скоростью.

¶Архитектура

Основные компоненты системы:

¶Брокер

Отдельный сервер (процесс), который хранит данные и обслуживает запросы клиентов. Несколько брокеров образуют кластер. Один из них выполняет роль контроллера, управляющего метаданными.

¶Топик

Логический канал, в который производители публикуют сообщения, а потребители их читают. Топики разделены на партиции — упорядоченные, неизменяемые последовательности записей. Партиции обеспечивают параллелизм: каждая из них может обрабатываться независимо.

¶Производитель и потребитель

Producer записывает сообщения в топик, выбирая партицию по ключу или по круговому алгоритму. Consumer читает данные, объединяясь в группы (consumer group): внутри группы партиции распределяются между участниками, что даёт масштабирование обработки.

¶Смещение (offset)

Каждое сообщение в партиции имеет уникальный порядковый номер. Потребитель хранит своё смещение и может перечитать данные с любой позиции.

¶История развития

Kafka создана в LinkedIn около 2010 года Джеем Крепсом, Нехой Нархеде и Джун Рао для обработки потоков активности пользователей. В 2011 году проект передан в Apache Software Foundation. В 2014 году основана компания Confluent, коммерциализирующая технологию. Начиная с версии 2.8 (2021) внедрён режим KRaft — отказ от внешней координации через ZooKeeper. В России Kafka применяется в банках, телекоме, ритейле и государственных информационных системах; существуют отечественные дистрибутивы и совместимые решения.

¶Установка и запуск

Типовой сценарий локального развёртывания включает:

1. Установку Java (Kafka написана на Java и Scala).
2. Загрузку дистрибутива с официального сайта Apache.
3. Генерацию идентификатора кластера и форматирование хранилища (в режиме KRaft).
4. Запуск брокера командой kafka-server-start.sh.
5. Создание топика через kafka-topics.sh --create.
6. Проверку работы консольными производителем и потребителем.

Для разработки часто используют Docker-образы и инструменты вроде Docker Compose, упрощающие подъём кластера из нескольких брокеров.

¶Работа с данными

¶Публикация

Производитель формирует запись, состоящую из ключа, значения, заголовков и метки времени. Ключ определяет партицию, что гарантирует порядок обработки связанных событий.

¶Чтение

Потребитель подписывается на топик и последовательно читает партиции. Kafka гарантирует порядок записей внутри партиции, но не между партициями.

¶Гарантии доставки

Различают три режима:

• at most once — сообщение может быть потеряно, но не продублировано;
• at least once — возможны повторы, потери исключены;
• exactly once — ровно однократная обработка, реализуется через транзакции и идемпотентного производителя.

¶Экосистема

Вокруг Kafka сложился набор инструментов:

• Kafka Connect — фреймворк для интеграции с внешними системами (базы данных, файловые хранилища) через готовые коннекторы.
• Kafka Streams — библиотека потоковой обработки для приложений на Java и Scala.
• ksqlDB — движок потоковых SQL-запросов.
• Schema Registry — управление схемами сообщений (Avro, JSON Schema, Protobuf).

¶Применение

Типовые сценарии использования:

¶Преимущества и ограничения

К достоинствам относят высокую пропускную способность, отказоустойчивость, долговременное хранение и развитую экосистему. К ограничениям — сложность администрирования, отсутствие строгого порядка между партициями, необходимость ручного управления смещениями и рост затрат на хранение при больших объёмах.

¶Типичные ошибки при освоении

Начинающие разработчики часто путают топик и партицию, игнорируют настройку репликации, выбирают слишком большое число партиций или неверный ключ, что ведёт к неравномерной нагрузке. Отдельного внимания требуют таймауты, размеры батчей и политика очистки (cleanup.policy).

Источники: документация Apache Kafka, материалы Confluent, технические публикации LinkedIn Engineering.