Колко добре познавате Loki, нативния събирач на…

Loki е добре познат. Това е хоризонтално мащабируем, високодостъпен система за агрегиране на логове, разработена от Grafana Labs. Ключовата характеристика е индексирането не на цялото съдържание на логовете, а само на метаданните (лейбълите), което значително намалява разходите за съхранение и индексиране.

Архитектурата на Loki включва няколко основни компонента:

Distributor: Приема входящите логове, валидира ги, шардва ги и ги пренасочва към Ingester.
Ingester: Отговаря за записването на логовете в дългосрочно хранилище (като S3, GCS, MinIO или локално хранилище) и кешира последните данни в паметта за ускоряване на заявките.
Querier/Query-Frontend: Обработва заявки за четене на логове. Querier може да заявява данни както от Ingesters (за нови логове), така и от дългосрочното хранилище. Query-Frontend може да кешира резултатите и да разбива сложните заявки на по-малки.
Compactor: За хранилища като Parquet, уплътнява малките парчета логове в по-големи за оптимизация на четенето.

Loki използва система от лейбъли, подобна на Prometheus, за индексиране на логовете. Заявките се изпълняват на езика LogQL, който е синтактично подобен на PromQL и позволява филтриране на логовете по лейбъли и съдържание, както и извършване на агрегации.

Интеграцията с Grafana е много тясна, Loki функционира като datasource. Логовете лесно се свързват с метрики от Prometheus чрез същите лейбъли.

Примери за използване на LogQL:

// Избери всички логове от namespace "production"
{namespace="production"}

// Избери логове от namespace "production", съдържащи думата "error"
{namespace="production"} |= "error"

// Изчисли броя на log записите за последия час, групирани по контейнер
sum by (container) (count_over_time({namespace="production"}[1h]))

Използваме Loki в Kubernetes клъстери с агенти като Promtail (daemonset) или Fluentd/Fluent Bit output plugin за събиране на логове и изпращането им към Loki. S3-съвместимото хранилище се използва като бекенд.

Предимства на Loki:

Икономичност чрез индексиране само на метаданните.
Висока мащабируемост.
Простота на внедряване и експлоатация в сравнение с по-тежки системи (например ELK).
Тясна интеграция с екосистемата Grafana/Prometheus.

Недостатъци:

Търсене само по пълнотекстово съвпадение вътре в логовете без развити търсещи възможности (като Elasticsearch).
Зависимост от качеството и консистентността на лейбълите за ефективна индексация и търсене.

Общо взето, Loki е отлична решение за централизирано събиране на логове, когато има нужда от мащабируемост и интеграция с Grafana, а пълнотекстовото търсене във всяко поле на логовете не е критично изискване.

Колко добре познавате Loki, нативния събирач на логове от Grafana?