¿Qué mecanismos garantizan la resistencia de Kafka a fallos y pérdida de datos?

Kafka garantiza la resistencia a fallos y pérdida de datos mediante varios mecanismos clave:

1. Replicación de particiones

   • Cada partición del tema se replica en varios brokers.
   • Si un broker falla, los datos están disponibles en otras réplicas.

2. Confirmaciones de escritura (acks)

   • El productor puede configurar el nivel de confirmación: desde escribir en un solo broker hasta confirmar en todas las réplicas.
   • Esto permite equilibrar entre rendimiento y fiabilidad.

3. Consistencia del líder de partición

   • Para cada partición se elige un líder que procesa todas las operaciones de escritura y lectura.
   • Las réplicas se sincronizan con el líder.

4. Registro de mensajes inmutables (log)

   • Los mensajes se escriben en archivos de registro, lo que permite la recuperación tras fallos.

5. Control de desplazamientos (offsets)

   • Los consumidores pueden guardar sus desplazamientos, permitiendo reanudar la lectura desde el punto necesario.

6. Configuración de parámetros de retención y limpieza

   • Permite gestionar el tiempo de almacenamiento de mensajes y las políticas de eliminación.

Estos mecanismos en conjunto garantizan una alta fiabilidad y resistencia de Kafka a fallos, minimizando el riesgo de pérdida de datos.