Papaskinkite apie savo patirtį su žurnalo analize…

Logų analizė buvo naudojama derinimui, stebėsenai ir incidentų priežasčių paieškai.

Pagrindiniai naudojimo scenarijai:

Klaidų paieška: Klaidos, įspėjimai ir išskirtiniai įvykiai loguose, serveriuose ar duomenų bazėse.
Našumo diagnostika: Atsako laiko, CPU apkrovos, atminties naudojimo analizė pagal stebėjimo sistemas ar pačias programas loguose.
Incidentų tyrimas: Laiko eigos atkūrimas, remiantis įvairių komponentų logais, siekiant nustatyti gedimo priežastį.
Sistemos būklės stebėsena: Pagrindinių įvykių ar klaidų įspėjimų nustatymas loguose.
Vartotojo elgsenos analizė: Vartotojo veiksmų sekos sekimas pagal API ar žiniatinklio serverio užklausų logus.

Įrankiai ir metodai:

Teksto redaktoriai ir komandinės eilutės įrankiai: Mažiems projektams ar vietinei analizei naudotas grep, awk, sed Linux/Unix sistemose.
Centralizuotos logų rinkimo sistemos: Darbas su ELK stack (Elasticsearch, Logstash, Kibana), Grafana Loki. Šios sistemos leidžia rinkti logus iš skirtingų šaltinių, centralizuotai juos saugoti, indeksuoti ir vizualizuoti.
Struktūruotas logavimas: Komandų kūrėjams rekomenduota naudoti logų formatus, palengvinančius analizę (pvz., JSON), ir pridėti koreliacijos ID, siekiant susieti užklausas tarp paslaugų.
Stebėsena ir įspėjimai: Nustatyti taisyklės stebėjimo sistemose (Prometheus) ir logų sistemose (ELK, Grafana), kad būtų siunčiami įspėjimai kritinių klaidų ar didelio įspėjimų skaičiaus atveju.

ELK pavyzdys klaidos paieškai:

Incidento identifikavimas (pvz., vartotojo skundas).
Eiti į Kibana, pasirinkti atitinkamą logų indeksą.
Įvesti raktinius žodžius ar filtrus (pvz., vartotojo ID, užklausos laikas, mikroserviso pavadinimas).
Ieškoti pagal level: ERROR arba level: WARNING laukus.
Analizuoti stacktrace ir aplinkinius logus, kad nustatyti klaidos kontekstą ir identifikuoti modulį ar funkciją, sukėlusią gedimą.

{
  "@timestamp": "2023-10-27T10:30:00.123Z",
  "level": "ERROR",
  "message": "Nepavyko prisijungti prie duomenų bazės",
  "service": "user-service",
  "correlation_id": "abc-123",
  "error": {
    "type": "SQLException",
    "message": "Connection refused",
    "stacktrace": "..." // Čia bus pilnas stacktrace
  },
  "user_id": "user-xyz"
}

Logų analizė yra svarbi produkto testavimo ir palaikymo proceso dalis, leidžianti greitai nustatyti ir lokalizuoti problemas.

Papaskinkite apie savo patirtį su žurnalo analize.