Quel est le surcoût sur Kafka lors de l'envoi idempotent ? Qu'est-ce que Kafka sacrifie dans ce cas ?

Идемпотентная отправка в Kafka достигается за счёт уникальных идентификаторов сообщений и контроля последовательности (sequence numbers) на стороне продюсера. Это позволяет избежать дублирования сообщений при повторных попытках отправки.

Оверхед заключается в:

• Дополнительном хранении и управлении состоянием продюсера (producer state) для отслеживания sequence numbers.
• Увеличении нагрузки на брокеры для проверки и подтверждения уникальности сообщений.
• Возможном снижении пропускной способности из-за синхронизации и подтверждений.

В итоге Kafka жертвует некоторой производительностью и увеличением задержек ради гарантии идемпотентности и предотвращения дублирования сообщений.