Что такое Debezium?

Debezium — это распределенная платформа для захвата изменений данных (Change Data Capture, CDC). Она предоставляет набор коннекторов для различных систем баз данных (MySQL, PostgreSQL, MongoDB, Kafka и другие), которые отслеживают изменения (вставки, обновления, удаления) в этих базах данных и публикуют их как потоки событий в Apache Kafka.

Ключевые компоненты и особенности:

• Коннекторы: Специфичны для каждой базы данных и используют нативный механизм CDC (например, бинарные логи MySQL, write-ahead логи PostgreSQL).
• Apache Kafka: Используется как транспортный слой для потоков событий. Каждое изменение данных преобразуется в сообщение Kafka.
• Формат сообщений: Debezium использует стандартизированный формат сообщений, который включает старое и новое состояния меняющейся строки, тип операции (create, update, delete) и метаданные.
• Guaranteed delivery: Обеспечивает доставку всех изменений в правильном порядке.
• Snapshots: Позволяет выполнить начальный снимок состояния базы данных при запуске коннектора.
• Change event format: Позволяет настраивать