Quais mecanismos garantem a resistência do Kafka a falhas e perda de dados?

O Kafka garante a resistência a falhas e perda de dados através de vários mecanismos-chave:

1. Replicação de partições

   • Cada partição de tópico é replicada em vários brokers.
   • Se um broker falhar, os dados estão disponíveis em outras réplicas.

2. Confirmações de escrita (acks)

   • O produtor pode configurar o nível de confirmação: desde escrever em um único broker até confirmar em todas as réplicas.
   • Isso permite equilibrar desempenho e fiabilidade.

3. Consistência do líder de partição

   • Para cada partição, um líder é eleito, que processa todas as operações de leitura e escrita.
   • As réplicas sincronizam-se com o líder.

4. Registro de mensagens imutáveis (log)

   • As mensagens são gravadas em arquivos de log, permitindo recuperação após falhas.

5. Controle de deslocamentos (offsets)

   • Os consumidores podem guardar seus deslocamentos, permitindo retomar a leitura do ponto necessário.

6. Configuração de parâmetros de retenção e limpeza

   • Permite gerenciar o tempo de armazenamento de mensagens e políticas de exclusão.

Estes mecanismos, em conjunto, garantem alta fiabilidade e resistência do Kafka a falhas, minimizando o risco de perda de dados.