Какво знаете за еластичния стек ELK и EFK?

Elastic Stack (ELK) — това е набор от инструменти за централизирано събиране, анализ и визуализация на логове. EFK е неговата вариация, която заменя Logstash с Fluentd.

Състав на ELK:

• Elasticsearch: Разпределен търсещ и аналитичен двигател на базата на Lucene. Използва се за съхранение, индексиране и търсене на логове.
• Logstash: Конвейер за обработка на данни. Приема данни от различни източници, филтрира ги, трансформира ги и ги изпраща към Elasticsearch.
• Kibana: Уеб интерфейс за визуализация на данните, съхранявани в Elasticsearch. Позволява създаване на табла, графики и провеждане на интерактивен анализ на логовете.

В състава на стека често включват Beats — леки агенти за събиране на данни от сървъри (Filebeat за логове, Metricbeat за метрики и др.).

Състав на EFK:

• Elasticsearch: Аналогично на ELK, използва се за съхранение и търсене.
• Fluentd: Консолидатор на логове с отворен код. Изпълнява подобни функции като Logstash, но често се счита за по-лек и има по-гъвкава система от плъгини. Особено популярен в контейнеризирани среди (Kubernetes).
• Kibana: Аналогично на ELK, използва се за визуализация.

Основни функции и предимства:

• Централизиране на логовете: Събиране на логове от множество сървъри и приложения на едно място.
• Търсене и анализ: Бързо търсене в големи обеми данни и провеждане на сложен анализ.
• Мониторинг и известия: Визуализация на тенденции, откриване на аномалии и настройка на известия въз основа на логовете.
• Отстраняване на проблеми: Ускоряване на търсенето на причините за инциденти и грешки в системите.
• Мащабируемост: Хоризонтално мащабиране на всички компоненти на стека.

Сравнение Logstash и Fluentd:

Характеристика	Logstash	Fluentd
Архитектура	На базата на JVM, монолитна	На базата на Ruby/C, модулна, с плъгини на Ruby
Памет	Често по-висока консумация на памет	По-малко изисквания към паметта
Производителност	Добра, но може да бъде тежка	Често по-ефективен при високи натоварвания
Среда	Традиционни сървърни среди, VM	Особено популярен в контейнери (Docker, K8s)
Плъгини	Голям брой вградени плъгини	Огромен брой плъгини от общността
Конфигурация	Свой синтаксис	JSON или YAML

Пример за използване:

# Примерна конфигурация на Filebeat за събиране на логове от Docker в Kubernetes
- module: docker
  containers:
    ids: '*'
    stream: 'stdout' # Събиране само от stdout
    paths:
      - /var/lib/docker/containers/${data.docker.container.id}/*.log

  processors:
  - add_kubernetes_metadata:
      in_cluster: true # Автоматично добавяне на метаданни от Kubernetes

# Примерна конфигурация на Fluentd за изпращане на логове към Elasticsearch
<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

<match kubernetes.**>
  @type elasticsearch
  host elasticsearch-logging.default.svc.cluster.local # Адрес на Elasticsearch
  port 9200
  logstash_format true
  logstash_prefix kubernetes
  <buffer>
    flush_interval 5s
  </buffer>
</match>

Изборът между ELK и EFK зависи от спецификата на инфраструктурата, предпочитанията към инструментите и изискванията към производителността и ресурсите. В контейнеризирани среди EFK често е предпочитаният вариант поради лекотата на Fluentd и интеграцията с Kubernetes.