Были ситуации, когда сообщение в Kafka не доходило?

Да, ситуации, когда сообщение в Kafka не доходит, возможны. Основные причины:

• Сетевые сбои между продюсером и брокером, из-за которых сообщение не было доставлено.
• Ошибки конфигурации (например, неправильный топик, недостаточные права).
• Недостаточная репликация или сбои брокеров, приводящие к потере данных.
• Неправильное использование подтверждений (acks): если продюсер не ждёт подтверждения от брокера, сообщение может быть потеряно.

Для минимизации потерь рекомендуется:

• Использовать acks=all для подтверждения записи на все реплики.
• Включать повторные попытки отправки (retries).
• Мониторить состояние брокеров и топиков.
• Обрабатывать ошибки отправки в коде продюсера.

Пример отправки сообщения с подтверждением в Go:

producer, _ := sarama.NewSyncProducer(brokers, config)
msg := &sarama.ProducerMessage{Topic: "topic", Value: sarama.StringEncoder("message")}
partition, offset, err := producer.SendMessage(msg)
if err != nil {
    // обработка ошибки отправки
}

Таким образом, правильная настройка и обработка ошибок помогают снизить вероятность потери сообщений.