Was wissen Sie über den elastischen Stack ELK und…

Elastic Stack (ELK) ist eine Sammlung von Werkzeugen für die zentrale Sammlung, Analyse und Visualisierung von Logs. EFK ist eine Variante, die Logstash durch Fluentd ersetzt.

Bestandteile von ELK:

Elasticsearch: Verteilte Such- und Analyse-Engine auf Lucene-Basis. Wird zum Speichern, Indizieren und Suchen von Logs verwendet.
Logstash: Datenverarbeitungspipeline. Nimmt Daten aus verschiedenen Quellen auf, filtert, transformiert und sendet sie an Elasticsearch.
Kibana: Web-Interface zur Visualisierung der in Elasticsearch gespeicherten Daten. Ermöglicht das Erstellen von Dashboards, Diagrammen und interaktive Log-Analysen.

Das Stack umfasst oft Beats — leichte Agenten zur Datensammlung von Servern (Filebeat für Logs, Metricbeat für Metriken usw.).

Bestandteile von EFK:

Elasticsearch: Ähnlich wie ELK, wird zum Speichern und Suchen verwendet.
Fluentd: Open-Source-Log-Collector. Führt ähnliche Funktionen wie Logstash aus, gilt aber als leichter und hat ein flexibleres Plugin-System. Sehr beliebt in Container-Umgebungen (Kubernetes).
Kibana: Ähnlich wie ELK, wird für Visualisierungen genutzt.

Hauptfunktionen und Vorteile:

Zentralisierung der Logs: Sammlung von Logs aus vielen Servern und Anwendungen an einem Ort.
Suche und Analyse: Schnelle Suche in großen Datenmengen und komplexe Analysen.
Überwachung und Alarmierung: Visualisierung von Trends, Erkennung von Anomalien und Einrichtung von Alarmen basierend auf Logs.
Fehlerbehebung: Beschleunigung der Ursachenforschung bei Vorfällen und Fehlern.
Skalierbarkeit: Horizontale Skalierung aller Komponenten des Stacks.

Vergleich Logstash vs. Fluentd:

Merkmal	Logstash	Fluentd
Architektur	JVM-basiert, monolithisch	Ruby/C-basiert, modular, mit Ruby-Plugins
Speicherverbrauch	Oft höherer Speicherverbrauch	Weniger speicherintensiv
Leistung	Gut, aber kann schwergewichtig sein	Oft effizienter bei hoher Last
Umgebung	Traditionelle Serverumgebungen, VM	Besonders beliebt in Container-Umgebungen (Docker, K8s)
Plugins	Viele eingebaute Plugins	Große Community-Plugins
Konfiguration	Eigene Syntax	JSON oder YAML

Beispiel für die Verwendung:

# Beispielkonfiguration für Filebeat zum Sammeln von Docker-Logs in Kubernetes
- module: docker
  containers:
    ids: '*'
    stream: 'stdout' # Logs nur aus stdout sammeln
    paths:
      - /var/lib/docker/containers/${data.docker.container.id}/*.log

  processors:
  - add_kubernetes_metadata:
      in_cluster: true # Automatisches Hinzufügen von Kubernetes-Metadaten

# Beispielkonfiguration für Fluentd zum Senden von Logs an Elasticsearch
<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

<match kubernetes.**>
  @type elasticsearch
  host elasticsearch-logging.default.svc.cluster.local # Elasticsearch-Adresse
  port 9200
  logstash_format true
  logstash_prefix kubernetes
  <buffer>
    flush_interval 5s
  </buffer>
</match>

Die Wahl zwischen ELK und EFK hängt von der Infrastruktur, den Tool-Präferenzen und den Leistungs- und Ressourcenanforderungen ab. In Container-Umgebungen ist EFK oft die bevorzugte Wahl, da Fluentd leichtgewichtig ist und sich gut in Kubernetes integriert.

Was wissen Sie über den elastischen Stack ELK und EFK?