Отлично знаком с Loki. Это горизонтально масштабируемая, высокодоступная, мультиарендная система агрегации логов, разработанная Grafana Labs. Ключевая особенность — индексация не всего содержимого логов, а только метаданных (лейблов), что значительно снижает расходы на хранение и индексацию.

Архитектура Loki включает несколько основных компонентов:

Distributor: Принимает входящие логи, валидирует их, шардирует и перенаправляет в Ingester.
Ingester: Отвечает за запись логов на долговременное хранение (типа S3, GCS, MinIO или локальное хранилище) и кэширование последних данных в памяти для ускорения запросов.
Querier/Query-Frontend: Обрабатывает запросы на чтение логов. Querier может запрашивать данные как у Ingesters (для недавних логов), так и из долговременного хранилища. Query-Frontend может кэшировать результаты и разбивать сложные запросы на более мелкие.
Compactor: Для хранилищ вроде Parquet, уплотняет мелкие чанки логов в более крупные для оптимизации чтения.

Loki использует Prometheus-подобную систему лейблов для индексации логов. Запросы выполняются на языке LogQL, который синтаксически схож с PromQL и позволяет фильтровать логи по лейблам и содержимому, а также выполнять агрегации.

Интеграция с Grafana очень тесная, Loki выступает как datasource. Логи легко привязываются к метрикам из Prometheus с помощью тех же лейблов.

Примеры использования LogQL:

// Выбрать все логи из namespace "production"
{namespace="production"}

// Выбрать логи из namespace "production", содержащие слово "error"
{namespace="production"} |= "error"

// Подсчитать количество log entries за последний час, сгруппированных по контейнеру
sum by (container) (count_over_time({namespace="production"}[1h]))

Используем Loki в кластерах Kubernetes с агентами типа Promtail (daemonset) или Fluentd/Fluent Bit output plugin для сбора логов и отправки в Loki. S3-совместимое хранилище используется как бэкенд.

Плюсы Loki:

Экономичность за счет индексации только метаданных.
Высокая масштабируемость.
Простота развертывания и эксплуатации по сравнению с более тяжелыми системами (например, ELK).
Тесная интеграция с экосистемой Grafana/Prometheus.

Минусы:

Поиск только по полнотекстовому совпадению внутри логов без развитых поисковых возможностей (как в Elasticsearch).
Зависимость от качества и консистентности лейблов для эффективной индексации и поиска.

В целом, Loki — отличное решение для централизованного сбора логов, когда есть потребность в масштабируемости и интеграции с Grafana, а полнотекстовый поиск по каждому полю лога не является критичным требованием.

Насколько вы знакомы с Loki, нативным сборщиком логов от Grafana?