Mit tud az ELK és EFK rugalmas stackről?

Elastic Stack (ELK) — ez a központosított naplógyűjtés, elemzés és vizualizáció eszközkészlete. Az EFK ennek a változata, amely a Logstash-t Fluentd-re cseréli.

Az ELK összetevői:

• Elasticsearch: A Lucene alapú elosztott kereső és elemző motor. A naplók tárolására, indexelésére és keresésére szolgál.
• Logstash: Adatfeldolgozó csővezeték. Különböző forrásokból fogad adatokat, szűri, átalakítja és elküldi az Elasticsearch-nek.
• Kibana: Webes felület az Elasticsearch-ban tárolt adatok vizualizálására. Lehetővé teszi műszerfalak, grafikonok készítését és interaktív elemzést.

A stack gyakran tartalmaz Beats-okat is — könnyű ügynököket szerverekről történő adatok gyűjtésére (Filebeat naplókhoz, Metricbeat metrikákhoz stb.).

Az EFK összetevői:

• Elasticsearch: Hasonló az ELK-hez, tárolásra és keresésre használják.
• Fluentd: Nyílt forráskódú naplókonzolidátor. Hasonló funkciókat lát el, mint a Logstash, de gyakran könnyebb és rugalmasabb plugin rendszerrel rendelkezik. Különösen népszerű konténeres környezetekben (Kubernetes).
• Kibana: Hasonló az ELK-hez, vizualizációra használják.

Fő funkciók és előnyök:

• Naplók központosítása: Naplók gyűjtése több szerverről és alkalmazásból egy helyen.
• Keresés és elemzés: Gyors keresés nagy adatmennyiségben és összetett elemzések végzése.
• Monitorozás és értesítés: Tendenciák vizualizálása, anomáliák felismerése és értesítések beállítása naplók alapján.
• Hibakeresés: Gyorsabb hibakeresés és rendszerhiba okainak feltárása.
• Skálázhatóság: A stack összes komponensének horizontális skálázása.

A Logstash és Fluentd összehasonlítása:

Jellemzők	Logstash	Fluentd
Architektúra	JVM-alapú, monolitikus	Ruby/C alapú, moduláris, pluginokkal rendelkező
Memória	Gyakran nagyobb memóriaigény	Kevésbé memóriaigényes
Teljesítmény	Jó, de nehézkes lehet	Gyakran hatékonyabb nagy terhelés esetén
Környezet	Hagyományos szerver környezetek, VM-ek	Különösen népszerű konténerekben (Docker, K8s)
Pluginok	Számos beépített plugin	Nagyszámú közösségi plugin
Konfiguráció	Saját szintaxis	JSON vagy YAML

Használati példa:

# Filebeat konfiguráció példája Docker naplók gyűjtéséhez Kubernetes-ben
- module: docker
  containers:
    ids: '*'
    stream: 'stdout' # Csak stdout naplók gyűjtése
    paths:
      - /var/lib/docker/containers/${data.docker.container.id}/*.log

  processors:
  - add_kubernetes_metadata:
      in_cluster: true # Kubernetes metaadatok automatikus hozzáadása

# Fluentd konfiguráció példája naplók elküldéséhez Elasticsearch-be
<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

<match kubernetes.**>
  @type elasticsearch
  host elasticsearch-logging.default.svc.cluster.local # Elasticsearch címe
  port 9200
  logstash_format true
  logstash_prefix kubernetes
  <buffer>
    flush_interval 5s
  </buffer>
</match>

Az ELK és EFK közötti választás az infrastruktúra sajátosságaitól, az eszközöktől való preferenciáktól és a teljesítmény- és erőforrás-igényektől függ. Konténeres környezetben az EFK gyakran előnyösebb a Fluentd könnyűségének és Kubernetes-szel való integrációja miatt.