Cât de familiar sunteți cu Loki, colectorul nativ de jurnale al Grafana?

Cunosc Loki bine. Este un sistem de agregare a jurnalelor scalabil orizontal, disponibil ridicat și multi-tenant, dezvoltat de Grafana Labs. Caracteristica cheie este că indexează doar metadatele (etichetelor), nu întreg conținutul jurnalelor, ceea ce reduce semnificativ costurile de stocare și indexare.

Arhitectura Loki include mai multe componente principale:

• Distributor: Primește jurnalele intrare, le validează, le împărțește în shard-uri și le redirecționează către Ingester.
• Ingester: Se ocupă de înregistrarea jurnalelor pe termen lung (tip S3, GCS, MinIO sau stocare locală) și de cache-ul datelor recente în memorie pentru accelerarea interogărilor.
• Querier/Query-Frontend: Procesează solicitările de citire a jurnalelor. Querier poate solicita date atât de la Ingesters (pentru jurnale recente), cât și din stocarea pe termen lung. Query-Frontend poate face cache la rezultate și poate împărți interogările complexe în bucăți mai mici.
• Compactor: Pentru depozite precum Parquet, compactează fragmente mici de jurnale în blocuri mai mari pentru a optimiza citirea.

Loki utilizează un sistem de etichete similar cu Prometheus pentru indexarea jurnalelor. Interogările se realizează în LogQL, care are o sintaxă asemănătoare cu PromQL și permite filtrarea jurnalelor după etichete și conținut, precum și efectuarea de agregări.

Integrarea cu Grafana este foarte strânsă, Loki funcționează ca o sursă de date. Jurnalele pot fi legate cu ușurință de metricile Prometheus folosind aceleași etichete.

Exemple de utilizare LogQL:

// Selectează toate jurnalele din namespace-ul "production"
{namespace="production"}

// Selectează jurnalele din namespace-ul "production" care conțin cuvântul "error"
{namespace="production"} |= "error"

// Numără intrările de jurnal din ultima oră, grupate după container
sum by (container) (count_over_time({namespace="production"}[1h]))

Loki este utilizat în clustere Kubernetes cu agenți precum Promtail (daemonset) sau pluginuri de ieșire Fluentd/Fluent Bit pentru colectarea jurnalelor și trimiterea lor către Loki. Stocarea compatibilă S3 este utilizată ca backend.

Avantajele Loki:

• Economie de costuri prin indexarea doar a metadatelor.
• Scalabilitate ridicată.
• Ușor de implementat și de operat comparativ cu sisteme mai grele (de exemplu ELK).
• Integrare strânsă cu ecosistemul Grafana/Prometheus.

Dezavantaje:

• Căutare doar după potrivire text complet în interiorul jurnalelor, fără funcții avansate de căutare (cum ar fi Elasticsearch).
• Dependență de calitatea și coerența etichetelor pentru o indexare și căutare eficiente.

În general, Loki este o soluție excelentă pentru colectarea centralizată a jurnalelor, atunci când este nevoie de scalabilitate și integrare cu Grafana, iar căutarea textului complet pe fiecare câmp de jurnal nu este o cerință critică.