Kokia jūsų patirtis rašant grok failus ELK?

Turiu patirties rašant Grok šablonus, skirtus logų analizavimui įvairiuose formatuose ELK stack'e. Dirbau su:

1. Standartiniais šablonais: Naudojau iš anksto apibrėžtus šablonus bendriems logų formatams (Apache, Syslog ir kt.).

   %{COMBINEDAPACHELOG}  
   

2. Sujungtais šablonais: Derinau standartinius ir pritaikytus šablonus.

   %{SYSLOGBASE} %{DATA:message}  
   

3. Pritaikytais šablonais: Kūriau savo reguliarius išraiškos, skirtas specifiniams logų formatams, kurie nebuvo padengti standartiniais šablonais. Testavau juos naudodamas Grok Debugger.

   (?<field_name>\[?\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}(?:,\d{3})?])  
   

4. Sąlyginė analizė: Naudojau Grok sąlygas, kad apdorotų logus su skirtingais formatais viename įvesties šaltinyje.

   if [type] == "apache" {  
     grok {  
       match => { "message" => "%{COMBINEDAPACHELOG}" }  
     }  
   } else if [type] == "syslog" {  
     grok {  
       match => { "message" => "%{SYSLOGBASE} %{GREEDYDATA:logmessage}" }  
     }  
   }  
   

5. Klaidų tvarkymas: Naudojau tag_on_failure, kad pažymėčiau įvykius, kurių nepavyko išanalizuoti, tai padėjo klaidų šalinime ir problematiškų logų identifikavime.

   grok {  
     match => { "message" => "%{MYCUSTOMLOGFORMAT}" }  
     tag_on_failure => ["_grokparsefailure_mycustom"]  
   }