Что вы знаете об эластичном стеке ELK и EFK?

Elastic Stack (ELK) — это набор инструментов для централизованного сбора, анализа и визуализации логов. EFK — его вариация, заменяющая Logstash на Fluentd.

Состав ELK:

• Elasticsearch: Распределённый поисковый и аналитический движок на основе Lucene. Используется для хранения, индексации и поиска логов.
• Logstash: Конвейер для обработки данных. Принимает данные из различных источников, фильтрует их, трансформирует и отправляет в Elasticsearch.
• Kibana: Веб-интерфейс для визуализации данных, хранящихся в Elasticsearch. Позволяет строить дашборды, графики и проводить интерактивный анализ логов.

В состав стека часто включают Beats — легковесные агенты для сбора данных с серверов (Filebeat для логов, Metricbeat для метрик и т.д.).

Состав EFK:

• Elasticsearch: Аналогично ELK, используется для хранения и поиска.
• Fluentd: Консолидатор логов с открытым исходным кодом. Выполняет примерно те же функции, что и Logstash, но часто считается более легковесным и имеет более гибкую систему плагинов. Особенно популярен в контейнерных средах (Kubernetes).
• Kibana: Аналогично ELK, используется для визуализации.

Основные функции и преимущества:

• Централизация логов: Сбор логов со множества серверов и приложений в едином месте.
• Поиск и анализ: Быстрый поиск по огромным объёмам данных и проведение сложного анализа.
• Мониторинг и оповещение: Визуализация тенденций, выявление аномалий и настройка оповещений на основе логов.
• Устранение неполадок: Ускорение поиска причин инцидентов и ошибок в работе систем.
• Масштабируемость: Горизонтальное масштабирование всех компонентов стека.

Сравнение Logstash и Fluentd:

Характеристика	Logstash	Fluentd
Архитектура	На основе JVM, монолитная	На основе Ruby/C, модульная, плагины на Ruby
Память	Часто более высокое потребление памяти	Менее требователен к памяти
Производительность	Хорошая, но может быть тяжеловесным	Часто более эффективен при высоких нагрузках
Среда	Традиционные серверные среды, VM	Особенно популярен в контейнерах (Docker, K8s)
Плагины	Большое количество встроенных плагинов	Огромное количество плагинов от сообщества
Конфигурация	Свой синтаксис	JSON или YAML

Пример использования:

# Пример конфигурации Filebeat для сбора логов Docker в Kubernetes
- module: docker
  containers:
    ids: '*'
    stream: 'stdout' # Сбор логов только из stdout
    paths:
      - /var/lib/docker/containers/${data.docker.container.id}/*.log

  processors:
  - add_kubernetes_metadata:
      in_cluster: true # Автоматическое добавление метаданных Kubernetes

# Пример конфигурации Fluentd для отправки логов в Elasticsearch
<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

<match kubernetes.**>
  @type elasticsearch
  host elasticsearch-logging.default.svc.cluster.local # Адрес Elasticsearch
  port 9200
  logstash_format true
  logstash_prefix kubernetes
  <buffer>
    flush_interval 5s
  </buffer>
</match>

Выбор между ELK и EFK зависит от специфики инфраструктуры, предпочтений в инструментах и требований к производительности и ресурсам. В контейнерных средах EFK часто является предпочтительным вариантом из-за легковесности Fluentd и интеграции с Kubernetes.