Разкажете за вашия опит с анализа на логове.

Анализът на логове беше използван за отстраняване на грешки, мониторинг и търсене на първопричините на инциденти.

Основни сценарии на използване:

Търсене на дефекти: Идентифициране на грешки, предупреждения и генерирани изключения в логовете на приложението, сървъра или базата данни.
Диагностика на производителността: Анализ на времето за отговор, натоварването на CPU, потреблението на памет според логовете на мониторинговите системи или самите приложения.
Разследване на инциденти: Възстановяване на хронологията на събитията, довели до срив, въз основа на логовете на различните компоненти на системата.
Мониторинг на състоянието на системата: Настройка на аларми за ключови събития или грешки в логовете.
Анализ на поведението на потребителите: Следене на последователността на действията на потребителя въз основа на логовете на заявки към API или уеб сървър.

Инструменти и подходи:

Текстови редактори и командни утилити: За малки проекти или локален анализ използваше grep, awk, sed в Linux/Unix системи.
Централизирани системи за логиране: Работил с ELK стек (Elasticsearch, Logstash, Kibana), Grafana Loki. Тези системи позволяват събиране на логове от различни източници, централизирано съхранение, индексиране и визуализация. Използването на Kibana или Grafana за създаване на табла и интерактивно търсене в логовете беше рутина.
Структурирано логиране: Насърчаваше екипите за разработка да използват формати на логовете, улесняващи парсинга (например JSON), добавяйки Correlation ID за свързване на заявки между услугите.
Мониторинг и аларми: Настройваше правила в системите за мониторинг (Prometheus) и логиране (ELK, Grafana) за изпращане на известия при появата на критични грешки или превишаване на определен брой предупреждения в логовете.

Пример за използване на ELK за търсене на грешка:

Идентифициране на инцидента (например, жалба на потребител).
Влизане в Kibana, избор на съответния индекс на логовете.
Въвеждане на ключови думи или филтри (например, ID на потребител, време на заявката, име на микросервиса).
Търсене по поле level: ERROR или level: WARNING.
Анализ на stacktrace и околните логове за определяне на контекста на грешката и идентифициране на модула или функцията, която е предизвикала срив.

{
  "@timestamp": "2023-10-27T10:30:00.123Z",
  "level": "ERROR",
  "message": "Неуспешна връзка с базата данни",
  "service": "user-service",
  "correlation_id": "abc-123",
  "error": {
    "type": "SQLException",
    "message": "Connection refused",
    "stacktrace": "..." // Тук ще бъде пълният stacktrace
  },
  "user_id": "user-xyz"
}

Анализът на логовете е критична част от процеса на тестване и поддръжка на продукта, позволявайки бързо откриване и локализиране на проблемите.