Ի՞նչ փորձ ունեք ELK-ի համար grok ֆայլեր գրելիս։

Ես ունեմ փորձ Grok ձևանմունքներ գրել տարբեր ֆորմատների լոգերը վերլուծելու համար ELK stack-ում: Ես աշխատել եմ հետ:

1. Ստանդարտ ձևանմունքներ: Օգտագործել եմ նախապես սահմանված ձևանմունքներ ընդհանուր լոգ ձևանմունքների համար (Apache, Syslog և այլն):

   %{COMBINEDAPACHELOG}  
   

2. Կոմբինացված ձևանմունքներ: Կոմբայնել եմ ստանդարտ և անհատական ձևանմունքներ:

   %{SYSLOGBASE} %{DATA:message}  
   

3. Անհատական ձևանմունքներ: Զարգացրել եմ սեփական կանոնավոր արտահայտություններ հատուկ ֆորմատների համար, որոնք չեն ընդգրկվում ստանդարտ ձևանմունքներում: Դրանք փորձարկել եմ Grok Debugger-ով:

   (?<field_name>\[?\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}(?:,\d{3})?])  
   

4. Պայմանական վերլուծություն: Օգտագործել եմ Grok-ի պայմանական օպերատորներ՝ տարբեր ֆորմատների լոգերը մշակելու համար մեկ ինպուտում:

   if [type] == "apache" {  
     grok {  
       match => { "message" => "%{COMBINEDAPACHELOG}" }  
     }  
   } else if [type] == "syslog" {  
     grok {  
       match => { "message" => "%{SYSLOGBASE} %{GREEDYDATA:logmessage}" }  
     }  
   }  
   

5. Համակարգում սխալները: Օգտագործել եմ tag_on_failure՝ նշելու համար այն իրադարձությունները, որոնք չեն կարողացել վերլուծվել, ինչը օգնում է սխալների հայտնաբերման և խնդիրների լոգերի նույնականացման համար:

   grok {  
     match => { "message" => "%{MYCUSTOMLOGFORMAT}" }  
     tag_on_failure => ["_grokparsefailure_mycustom"]  
   }