Quão familiarizado você está com Loki, o coletor de logs nativo do Grafana?

Conheço bem o Loki. É um sistema de agregação de logs escalável horizontalmente, altamente disponível e multi-inquilino, desenvolvido pela Grafana Labs. A característica principal é que indexa apenas os metadados (etiquetas), em vez de todo o conteúdo dos logs, o que reduz significativamente os custos de armazenamento e indexação.

A arquitetura do Loki inclui vários componentes principais:

• Distributor: Recebe os logs de entrada, valida-os, distribui-os em shards e os encaminha para o Ingester.
• Ingester: Responsável por gravar os logs a longo prazo (tipo S3, GCS, MinIO ou armazenamento local) e por fazer cache dos dados recentes na memória para acelerar as consultas.
• Querier/Query-Frontend: Processa as solicitações de leitura de logs. O Querier pode solicitar dados tanto aos Ingesters (para logs recentes) quanto ao armazenamento de longo prazo. O Query-Frontend pode fazer cache dos resultados e dividir consultas complexas em partes menores.
• Compactor: Para armazenamentos como Parquet, compacta pequenos pedaços de logs em blocos maiores para otimizar a leitura.

O Loki usa um sistema de etiquetas semelhante ao Prometheus para indexar logs. As consultas são feitas em LogQL, que tem uma sintaxe semelhante ao PromQL e permite filtrar logs por etiquetas e conteúdo, bem como realizar agregações.

A integração com o Grafana é muito estreita, o Loki funciona como uma fonte de dados. Os logs podem ser facilmente vinculados às métricas do Prometheus usando as mesmas etiquetas.

Exemplos de uso do LogQL:

// Selecionar todos os logs do namespace "production"
{namespace="production"}

// Selecionar logs do namespace "production" que contêm a palavra "error"
{namespace="production"} |= "error"

// Contar o número de entradas de logs na última hora, agrupados por container
sum by (container) (count_over_time({namespace="production"}[1h]))

O Loki é usado em clusters Kubernetes com agentes como Promtail (daemonset) ou plugins de saída do Fluentd/Fluent Bit para coletar logs e enviá-los ao Loki. O armazenamento compatível com S3 é usado como backend.

Vantagens do Loki:

• Economia ao indexar apenas metadados.
• Alta escalabilidade.
• Facilidade de implantação e operação em comparação com sistemas mais pesados (por exemplo, ELK).
• Integração estreita com o ecossistema Grafana/Prometheus.

Desvantagens:

• Pesquisa apenas por correspondência de texto completo dentro dos logs, sem recursos avançados de busca (como Elasticsearch).
• Dependência da qualidade e consistência das etiquetas para uma indexação e busca eficazes.

No geral, o Loki é uma excelente solução para coleta centralizada de logs, quando há necessidade de escalabilidade e integração com o Grafana, e a busca de texto completo por cada campo de log não é uma exigência crítica.