Kāda ir jūsu pieredze grok failu rakstīšanā ELK?

Man ir pieredze Grok modeļu rakstīšanā, lai analizētu dažādu formātu logus ELK stekā. Esmu strādājis ar:

1. Standarta modeļiem: Esmu izmantojis iepriekš definētus modeļus kopēju logu formātu (Apache, Syslog utt.) analīzei.

   %{COMBINEDAPACHELOG}  
   

2. Apvienotiem modeļiem: Esmu apvienojis standarta un pielāgotus modeļus.

   %{SYSLOGBASE} %{DATA:message}  
   

3. Pielāgotiem modeļiem: Esmu izstrādājis savas regulārās izteiksmes specifiskiem logu formātiem, kas nav ietverti standarta modeļos. Esmu tos pārbaudījis ar Grok Debugger.

   (?<field_name>\[?\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}(?:,\d{3})?])  
   

4. Nosacījuma analīze: Esmu izmantojis Grok nosacījumus, lai apstrādātu logus ar dažādiem formātiem vienā ievadā.

   if [type] == "apache" {  
     grok {  
       match => { "message" => "%{COMBINEDAPACHELOG}" }  
     }  
   } else if [type] == "syslog" {  
     grok {  
       match => { "message" => "%{SYSLOGBASE} %{GREEDYDATA:logmessage}" }  
     }  
   }  
   

5. Kļūdu apstrāde: Esmu izmantojis tag_on_failure, lai atzīmētu notikumus, kuriem neizdevās veikt analīzi, tas palīdzēja kļūdu novēršanā un problemātisko logu identificēšanā.

   grok {  
     match => { "message" => "%{MYCUSTOMLOGFORMAT}" }  
     tag_on_failure => ["_grokparsefailure_mycustom"]  
   }