Wie gut kennen Sie Loki, den nativen Log-Collector von Grafana?

Ich kenne Loki gut. Es ist ein horizontal skalierbares, hochverfügbares, Multi-Mandanten-System zur Log-Aggregation, entwickelt von Grafana Labs. Das Hauptmerkmal ist, dass nur die Metadaten (Labels) indiziert werden, nicht der gesamte Log-Inhalt, was die Speicher- und Indexierungskosten erheblich senkt.

Die Architektur von Loki umfasst mehrere Hauptkomponenten:

• Distributor: Empfängt eingehende Logs, validiert sie, shardet sie und leitet sie an den Ingester weiter.
• Ingester: Verantwortlich für die langfristige Speicherung der Logs (z.B. S3, GCS, MinIO oder lokaler Speicher) und das Caching der neuesten Daten im Speicher zur Beschleunigung der Abfragen.
• Querier/Query-Frontend: Verarbeitet Leseanfragen für Logs. Der Querier kann Daten sowohl von Ingesters (für aktuelle Logs) als auch vom Langzeitspeicher anfordern. Das Query-Frontend kann Ergebnisse cachen und komplexe Anfragen in kleinere aufteilen.
• Compactor: Für Speicher wie Parquet, komprimiert es kleine Log-Chunks in größere Blöcke zur Optimierung der Lesegeschwindigkeit.

Loki verwendet ein Label-System ähnlich wie Prometheus zur Indizierung der Logs. Abfragen werden in LogQL durchgeführt, das eine PromQL-ähnliche Syntax hat und das Filtern von Logs nach Labels und Inhalt sowie Aggregationen ermöglicht.

Die Integration mit Grafana ist sehr eng, Loki fungiert als Datenquelle. Logs können leicht mit Prometheus-Metriken verknüpft werden, indem die gleichen Labels verwendet werden.

Beispiele für LogQL:

// Alle Logs aus dem Namespace "production" auswählen
{namespace="production"}

// Logs aus dem Namespace "production" auswählen, die das Wort "error" enthalten
{namespace="production"} |= "error"

// Anzahl der Log-Einträge der letzten Stunde zählen, gruppiert nach Container
sum by (container) (count_over_time({namespace="production"}[1h]))

Loki wird in Kubernetes-Clustern mit Agenten wie Promtail (DaemonSet) oder Fluentd/Fluent Bit Output-Plugins zur Log-Sammlung und -Weiterleitung an Loki verwendet. S3-kompatibler Speicher wird als Backend genutzt.

Vorteile von Loki:

• Kosteneffizienz durch Indizierung nur der Metadaten.
• Hohe Skalierbarkeit.
• Einfache Bereitstellung und Betrieb im Vergleich zu schwereren Systemen (z.B. ELK).
• Enge Integration mit dem Grafana/Prometheus-Ökosystem.

Nachteile:

• Suche nur nach Volltextübereinstimmungen innerhalb der Logs, ohne erweiterte Suchfunktionen (wie Elasticsearch).
• Abhängigkeit von der Qualität und Konsistenz der Labels für eine effektive Indizierung und Suche.

Insgesamt ist Loki eine ausgezeichnete Lösung für die zentrale Sammlung von Logs, wenn Skalierbarkeit und Integration mit Grafana erforderlich sind und eine Volltextsuche in jedem Log-Feld keine kritische Anforderung ist.