С какими гарантиями доставки в Kafka сталкивались?

В Apache Kafka существуют три основных гарантии доставки сообщений:

1. At most once (не более одного раза): Сообщение может быть доставлено 0 или 1 раз. При этом возможна потеря сообщений, но дубликатов не будет.

2. At least once (минимум один раз): Сообщение гарантированно будет доставлено хотя бы один раз, но возможны дубликаты, если потребитель не подтвердил получение вовремя и сообщение было отправлено повторно.

3. Exactly once (ровно один раз): Сообщение доставляется и обрабатывается ровно один раз без дубликатов. В Kafka это достигается с помощью идемпотентного продюсера и транзакций.

На практике:

• По умолчанию Kafka обеспечивает "at least once".
• Для "exactly once" нужно использовать дополнительные настройки и API транзакций.

Понимание этих гарантий важно для построения надежных систем обработки данных, где потеря или дублирование сообщений может иметь критические последствия.