Насколько вы знакомы с Loki, нативным сборщиком логов от Grafana?

Отлично знаком с Loki. Это горизонтально масштабируемая, высокодоступная, мультиарендная система агрегации логов, разработанная Grafana Labs. Ключевая особенность — индексация не всего содержимого логов, а только метаданных (лейблов), что значительно снижает расходы на хранение и индексацию.

Архитектура Loki включает несколько основных компонентов:

• Distributor: Принимает входящие логи, валидирует их, шардирует и перенаправляет в Ingester.
• Ingester: Отвечает за запись логов на долговременное хранение (типа S3, GCS, MinIO или локальное хранилище) и кэширование последних данных в памяти для ускорения запросов.
• Querier/Query-Frontend: Обрабатывает запросы на чтение логов. Querier может запрашивать данные как у Ingesters (для недавних логов), так и из долговременного хранилища. Query-Frontend может кэшировать результаты и разбивать сложные запросы на более мелкие.
• Compactor: Для хранилищ вроде Parquet, уплотняет мелкие чанки логов в более крупные для оптимизации чтения.

Loki использует Prometheus-подобную систему лейблов для индексации логов. Запросы выполняются на языке LogQL, который синтаксически схож с PromQL и позволяет фильтровать логи по лейблам и содержимому, а также выполнять агрегации.

Интеграция с Grafana очень тесная, Loki выступает как datasource. Логи легко