Qual é a sua experiência na escrita de ficheiros grok para ELK?

Tenho experiência na escrita de padrões Grok para analisar logs de diferentes formatos na pilha ELK. Trabalhei com:

1. Padrões padrão: Usei padrões predefinidos para formatos comuns de logs (Apache, Syslog, etc.).

   %{COMBINEDAPACHELOG}  
   

2. Padrões combinados: Combinei padrões padrão e personalizados.

   %{SYSLOGBASE} %{DATA:message}  
   

3. Padrões personalizados: Desenvolvi expressões regulares próprias para formatos específicos de logs que não eram cobertos pelos padrões padrão. Testei-os usando Grok Debugger.

   (?<field_name>\[?\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}(?:,\d{3})?])  
   

4. Análise condicional: Apliquei operadores condicionais no Grok para processar logs com diferentes formatos numa única entrada.

   if [type] == "apache" {  
     grok {  
       match => { "message" => "%{COMBINEDAPACHELOG}" }  
     }  
   } else if [type] == "syslog" {  
     grok {  
       match => { "message" => "%{SYSLOGBASE} %{GREEDYDATA:logmessage}" }  
     }  
   }  
   

5. Tratamento de erros: Usei tag_on_failure para marcar eventos que não puderam ser analisados, ajudando na depuração e na identificação de logs problemáticos.

   grok {  
     match => { "message" => "%{MYCUSTOMLOGFORMAT}" }  
     tag_on_failure => ["_grokparsefailure_mycustom"]  
   }