Filebeat

Filebeat — это легковесный агент с открытым исходным кодом для сбора и пересылки логов, разработанный компанией Elastic (Elasticsearch N.V.). Он входит в состав стека Elastic Stack (ранее известного как ELK Stack) и предназначен для мониторинга файлов журналов (лог-файлов) на серверах, контейнерах и других устройствах. Filebeat устанавливается на целевой системе, отслеживает изменения в указанных файлах, собирает новые строки логов и передаёт их в централизованную систему хранения и анализа — обычно в Elasticsearch, Logstash или Kafka. Основные характеристики Filebeat: низкое потребление ресурсов, высокая надёжность доставки, поддержка различных форматов логов и встроенные модули для популярных приложений и сервисов.

История

Filebeat был создан как замена более старому и ресурсоёмкому инструменту Logstash Forwarder. Первая стабильная версия Filebeat 1.0.0 была выпущена в 2015 году. Разработка велась в рамках проекта Elastic Beats, который представляет собой набор лёгких агентов для сбора различных типов данных (метрик, логов, сетевых данных). Filebeat быстро стал одним из самых популярных агентов для сбора логов благодаря своей простоте, эффективности и интеграции с Elastic Stack.

Архитектура и принцип работы

Filebeat работает по следующей схеме:

1. Обнаружение файлов: Filebeat сканирует указанные в конфигурации пути к файлам или директориям. Он отслеживает изменения с помощью системных утилит (например, inotify в Linux) или периодической проверки метаданных.
2. Чтение логов: При обнаружении новых строк в файле, Filebeat читает их. Он ведёт учёт прочитанных байт (харвестеры), чтобы не терять данные и не дублировать их при перезапуске.
3. Обработка: Прочитанные строки могут быть преобразованы, обогащены или отфильтрованы с помощью встроенных процессоров (например, парсинг JSON, удаление полей, добавление метаданных).
4. Буферизация и отправка: Обработанные события помещаются во внутренний буфер (очередь). Затем они отправляются в заданный выходной модуль (Elasticsearch, Logstash, Kafka, Redis и др.). Filebeat поддерживает механизмы подтверждения доставки (acknowledgment) и повторной отправки в случае сбоев.
5. Управление состоянием: Filebeat хранит информацию о том, какие файлы и какие именно строки были прочитаны, в специальном файле состояния (registry file). Это позволяет после перезапуска продолжить чтение с места остановки, а не с начала файла.

Ключевые компоненты

• Harvester (Харвестер): Поток, отвечающий за чтение одного конкретного файла. Каждый файл имеет свой харвестер. Он открывает файл, читает новые строки и отправляет их в буфер.
• Input (Вход): Определяет, откуда Filebeat будет получать данные. Основной тип входа — log (чтение из файла). Также поддерживаются другие типы: stdin, syslog, tcp, udp, container (для Docker и Kubernetes).
• Output (Выход): Определяет, куда Filebeat будет отправлять собранные данные. Основные выходы: elasticsearch, logstash, kafka, redis, file, console.
• Registry file (Файл состояния): Хранит информацию о состоянии всех отслеживаемых файлов. По умолчанию находится в data/registry/filebeat/data.json.

Установка и настройка

Filebeat доступен для большинства операционных систем: Linux (через пакетные менеджеры apt, yum, dnf), Windows (в виде .msi-установщика), macOS (через Homebrew), а также в виде Docker-образа. Установка обычно включает скачивание архива, распаковку и настройку конфигурационного файла filebeat.yml.

Основные параметры конфигурации

• filebeat.inputs: Определяет список входов. Для каждого входа указывается тип (например, type: log) и пути к файлам (paths).
• output.elasticsearch: Настройки для отправки в Elasticsearch (хост, порт, индекс, аутентификация).
• output.logstash: Настройки для отправки в Logstash (хост, порт).
• logging: Настройки логирования самого Filebeat (уровень, файл).
• processors: Список процессоров для обработки событий (например, add_host_metadata, drop_fields, decode_json_fields).

Пример минимальной конфигурации для отправки логов из /var/log/nginx/access.log в Elasticsearch:

```yaml filebeat.inputs:

• type: log

enabled: true paths:

• /var/log/nginx/access.log

output.elasticsearch: hosts: ["localhost:9200"] username: "elastic" password: "changeme" ```

Модули Filebeat

Filebeat включает в себя встроенные модули для автоматической настройки сбора, парсинга и визуализации логов для многих популярных приложений и сервисов. Модуль включает в себя:

• Конфигурацию входа (пути к файлам).
• Процессоры для парсинга логов (например, в формате JSON, Apache, Nginx, Syslog).
• Шаблоны индексов и пайплайны для Elasticsearch.
• Дашборды для Kibana.

Примеры модулей: nginx, apache, mysql, postgresql, system (системные логи), docker, kafka, redis, auditd, cisco, zeek, suricata и многие другие. Модули активируются и настраиваются в конфигурационном файле.

Преимущества и недостатки

Преимущества

• Низкое потребление ресурсов: Filebeat написан на Go и потребляет значительно меньше памяти и CPU по сравнению с Logstash.
• Надёжность: Гарантированная доставка событий с механизмом подтверждения и повторной отправки.
• Простота настройки: Базовая конфигурация требует всего нескольких строк.
• Масштабируемость: Легко разворачивается на тысячах серверов.
• Интеграция с Elastic Stack: Полная совместимость с Elasticsearch, Kibana и Logstash.
• Встроенные модули: Упрощают сбор логов для популярных приложений.
• Безопасность: Поддержка TLS/SSL-шифрования и аутентификации.

Недостатки

• Ограниченная обработка: Filebeat не предназначен для сложной трансформации данных (это задача Logstash).
• Зависимость от Elastic Stack: Хотя Filebeat может отправлять данные в другие системы, его основная экосистема — Elastic.
• Сложность отладки: При возникновении проблем с доставкой или обработкой, диагностика может быть затруднена.
• Не подходит для бинарных данных: Filebeat оптимизирован для текстовых логов.

Применение

Filebeat широко используется в различных сценариях:

• Централизованный сбор логов: Сбор логов с сотен и тысяч серверов в единую систему (Elasticsearch) для анализа и поиска.
• Мониторинг приложений: Сбор логов веб-серверов (Nginx, Apache), баз данных (MySQL, PostgreSQL), приложений на Java, Python, Node.js.
• Безопасность: Сбор логов систем безопасности (firewall, IDS/IPS) и аудита (auditd).
• Мониторинг контейнеров: Сбор логов из Docker-контейнеров и Kubernetes-кластеров.
• Анализ производительности: Сбор логов производительности приложений (APM).

Сравнение с аналогами

Интересные факты

• Filebeat является частью проекта Beats, который включает в себя также Metricbeat (сбор метрик), Packetbeat (сетевой анализ), Heartbeat (мониторинг доступности) и Winlogbeat (сбор Windows-логов).
• Filebeat может работать в режиме "автообнаружения" (autodiscover) для динамического обнаружения и сбора логов из контейнеров и Kubernetes-подов.
• В версии 8.x Filebeat получил встроенную поддержку Elastic Agent, который объединяет функции нескольких Beats-агентов в одном.

Критика

Основная критика в адрес Filebeat связана с его ограниченными возможностями по обработке данных. Для сложных сценариев (например, обогащение данными из внешних источников, сложная фильтрация) требуется использование Logstash, что усложняет архитектуру. Также отмечается, что конфигурация Filebeat, хотя и проста, может быть неинтуитивной для новичков, особенно при настройке модулей и процессоров.

Источники

• Официальная документация Elastic: Filebeat Reference
• Статья "What is Filebeat?" на сайте Elastic
• Книга "Elasticsearch: The Definitive Guide" (Clinton Gormley, Zachary Tong)
• Статья "Filebeat vs Logstash vs Fluentd" на сайте Logz.io
• Репозиторий Filebeat на GitHub