¿Qué tan familiarizado estás con Loki, el recolector de logs nativo de Grafana?

Conozco bien Loki. Es un sistema de agregación de logs escalable horizontalmente, altamente disponible y multiinquilino, desarrollado por Grafana Labs. La característica clave es que indexa solo los metadatos (etiquetas) en lugar de todo el contenido de los logs, lo que reduce significativamente los costos de almacenamiento e indexación.

La arquitectura de Loki incluye varios componentes principales:

• Distributor: Recibe los logs entrantes, los valida, los distribuye en fragmentos y los envía a Ingester.
• Ingester: Se encarga de almacenar los logs a largo plazo (tipo S3, GCS, MinIO o almacenamiento local) y de cachear los datos recientes en memoria para acelerar las consultas.
• Querier/Query-Frontend: Procesa las solicitudes de lectura de logs. El Querier puede solicitar datos tanto a los Ingesters (para logs recientes) como al almacenamiento a largo plazo. Query-Frontend puede cachear resultados y dividir consultas complejas en más pequeñas.
• Compactor: Para almacenamientos como Parquet, compacta fragmentos pequeños de logs en bloques más grandes para optimizar la lectura.

Loki utiliza un sistema de etiquetas similar a Prometheus para indexar logs. Las consultas se realizan en LogQL, que tiene una sintaxis similar a PromQL y permite filtrar logs por etiquetas y contenido, así como realizar agregaciones.

La integración con Grafana es muy estrecha, Loki funciona como fuente de datos. Los logs se pueden vincular fácilmente a métricas de Prometheus mediante las mismas etiquetas.

Ejemplos de uso de LogQL:

// Seleccionar todos los logs del namespace "production"
{namespace="production"}

// Seleccionar logs del namespace "production" que contienen la palabra "error"
{namespace="production"} |= "error"

// Contar el número de entradas de logs en la última hora, agrupados por contenedor
sum by (container) (count_over_time({namespace="production"}[1h]))

Se usa Loki en clusters de Kubernetes con agentes como Promtail (daemonset) o plugins de salida de Fluentd/Fluent Bit para recopilar logs y enviarlos a Loki. El almacenamiento compatible con S3 se usa como backend.

Ventajas de Loki:

• Eficiencia en costos al indexar solo metadatos.
• Alta escalabilidad.
• Facilidad de despliegue y operación en comparación con sistemas más pesados (por ejemplo, ELK).
• Integración estrecha con el ecosistema de Grafana/Prometheus.

Desventajas:

• Búsqueda solo por coincidencia de texto completo dentro de los logs, sin capacidades avanzadas de búsqueda (como Elasticsearch).
• Dependencia de la calidad y consistencia de las etiquetas para una indexación y búsqueda efectivas.

En general, Loki es una excelente solución para la recopilación centralizada de logs, cuando se requiere escalabilidad e integración con Grafana, y la búsqueda de texto completo en cada campo del log no es una necesidad crítica.