Πόσο γνωρίζετε το Loki, τον εγγενή συλλέκτη…

Γνωρίζω καλά το Loki. Είναι ένα σύστημα συλλογής logs με οριζόντια κλιμάκωση, υψηλή διαθεσιμότητα και πολλαπλούς ενοικιαστές, αναπτυγμένο από την Grafana Labs. Το βασικό χαρακτηριστικό του είναι ότι δείχνει μόνο τα μεταδεδομένα (ετικέτες), και όχι ολόκληρο το περιεχόμενο των logs, κάτι που μειώνει σημαντικά το κόστος αποθήκευσης και ευρετηρίασης.

Η αρχιτεκτονική του Loki περιλαμβάνει αρκετά βασικά συστατικά:

Distributor: Λαμβάνει τα εισερχόμενα logs, τα επικυρώνει, τα διαχωρίζει σε shards και τα προωθεί στον Ingester.
Ingester: Είναι υπεύθυνος για την μακροπρόθεσμη αποθήκευση των logs (τύπου S3, GCS, MinIO ή τοπική αποθήκευση) και την cache των τελευταίων δεδομένων στη μνήμη για την επιτάχυνση των ερωτημάτων.
Querier/Query-Frontend: Επεξεργάζεται τα αιτήματα ανάγνωσης logs. Ο Querier μπορεί να ζητήσει δεδομένα τόσο από τους Ingesters (για πρόσφατα logs) όσο και από την μακροπρόθεσμη αποθήκευση. Το Query-Frontend μπορεί να cache-άρει τα αποτελέσματα και να διαχωρίζει πολύπλοκα ερωτήματα σε μικρότερα.
Compactor: Για αποθηκευτικά συστήματα όπως το Parquet, συμπιέζει μικρά κομμάτια logs σε μεγαλύτερα μπλοκ για βελτιστοποίηση της ανάγνωσης.

Το Loki χρησιμοποιεί ένα σύστημα ετικετών παρόμοιο με το Prometheus για την ευρετηρίαση των logs. Τα ερωτήματα εκτελούνται στη LogQL, που έχει σύνταξη παρόμοια με το PromQL και επιτρέπει το φιλτράρισμα logs με βάση ετικέτες και περιεχόμενο, καθώς και την εκτέλεση aggregations.

Η ενσωμάτωση με το Grafana είναι πολύ στενή, το Loki λειτουργεί ως πηγή δεδομένων. Τα logs μπορούν εύκολα να συσχετιστούν με μετρήσεις του Prometheus χρησιμοποιώντας τις ίδιες ετικέτες.

Παραδείγματα χρήσης LogQL:

// Επιλογή όλων των logs από το namespace "production"
{namespace="production"}

// Επιλογή logs από το namespace "production" που περιέχουν τη λέξη "error"
{namespace="production"} |= "error"

// Καταμέτρηση των log entries της τελευταίας ώρας, ομαδοποιημένα ανά container
sum by (container) (count_over_time({namespace="production"}[1h]))

Το Loki χρησιμοποιείται σε Kubernetes clusters με agents όπως Promtail (daemonset) ή plugins εξόδου Fluentd/Fluent Bit για συλλογή logs και αποστολή τους στο Loki. Η συμβατή με S3 αποθήκευση χρησιμοποιείται ως backend.

Πλεονεκτήματα του Loki:

Οικονομία λόγω ευρετηρίασης μόνο των μεταδεδομένων.
Υψηλή κλιμάκωση.
Ευκολία εγκατάστασης και λειτουργίας σε σύγκριση με πιο βαριά συστήματα (π.χ. ELK).
Στενή ενσωμάτωση με το οικοσύστημα Grafana/Prometheus.

Μειονεκτήματα:

Αναζήτηση μόνο με πλήρες κείμενο μέσα στα logs, χωρίς προηγμένες δυνατότητες αναζήτησης (όπως Elasticsearch).
Εξάρτηση από την ποιότητα και τη συνέπεια των ετικετών για αποτελεσματική ευρετηρίαση και αναζήτηση.

Γενικά, το Loki είναι μια εξαιρετική λύση για κεντρική συλλογή logs, όταν απαιτείται κλιμάκωση και ενσωμάτωση με το Grafana, και η πλήρης αναζήτηση κειμένου σε κάθε πεδίο log δεν αποτελεί κρίσιμη απαίτηση.

Πόσο γνωρίζετε το Loki, τον εγγενή συλλέκτη καταγραφών του Grafana;