Dans quelle mesure connaissez-vous Loki, le collecteur de logs natif de Grafana?

Je connais bien Loki. C’est un système d’agrégation de logs évolutif horizontalement, hautement disponible et multi-locataire, développé par Grafana Labs. La caractéristique clé est qu’il indexe uniquement les métadonnées (étiquettes) plutôt que tout le contenu des logs, ce qui réduit considérablement les coûts de stockage et d’indexation.

L’architecture de Loki comprend plusieurs composants principaux :

• Distributor : Reçoit les logs entrants, les valide, les répartit en shards et les envoie à l’Ingester.
• Ingester : Gère l’enregistrement des logs à long terme (type S3, GCS, MinIO ou stockage local) et met en cache les données récentes en mémoire pour accélérer les requêtes.
• Querier/Query-Frontend : Traite les requêtes de lecture des logs. Le Querier peut demander des données à la fois aux Ingesters (pour les logs récents) et au stockage à long terme. Query-Frontend peut mettre en cache les résultats et diviser les requêtes complexes en plus petites.
• Compactor : Pour les stockages comme Parquet, compacte les petits morceaux de logs en blocs plus grands pour optimiser la lecture.

Loki utilise un système d’étiquettes similaire à Prometheus pour indexer les logs. Les requêtes sont effectuées en LogQL, qui a une syntaxe similaire à PromQL et permet de filtrer les logs par étiquettes et contenu, ainsi que de faire des agrégations.

L’intégration avec Grafana est très étroite, Loki fonctionne comme source de données. Les logs peuvent être facilement liés aux métriques de Prometheus via les mêmes étiquettes.

Exemples d’utilisation de LogQL :

// Sélectionner tous les logs du namespace "production"
{namespace="production"}

// Sélectionner les logs du namespace "production" contenant le mot "error"
{namespace="production"} |= "error"

// Compter le nombre d’entrées de logs dans la dernière heure, groupées par conteneur
sum by (container) (count_over_time({namespace="production"}[1h]))

Loki est utilisé dans des clusters Kubernetes avec des agents comme Promtail (daemonset) ou des plugins de sortie Fluentd/Fluent Bit pour collecter les logs et les envoyer à Loki. Le stockage compatible S3 est utilisé comme backend.

Avantages de Loki :

• Économique en ne indexant que les métadonnées.
• Haute évolutivité.
• Facilité de déploiement et d’exploitation comparé à des systèmes plus lourds (par exemple, ELK).
• Intégration étroite avec l’écosystème Grafana/Prometheus.

Inconvénients :

• Recherche uniquement par correspondance de texte intégral dans les logs, sans capacités de recherche avancées (comme Elasticsearch).
• Dépendance de la qualité et de la cohérence des étiquettes pour une indexation et une recherche efficaces.

Globalement, Loki est une excellente solution pour la collecte centralisée des logs, lorsque la scalabilité et l’intégration avec Grafana sont nécessaires, et que la recherche en texte intégral sur chaque champ de log n’est pas une exigence critique.