Что хотят услышать интервьюеры:

Нужно показать, что Elasticsearch не стоит считать источником истины, а PostgreSQL — да. Согласованность обычно обеспечивают через PostgreSQL как primary storage, а Elasticsearch обновляют асинхронно через надежную доставку изменений. Важно упомянуть идемпотентность, ретраи, мониторинг и обработку рассинхронизации.

Определение:

Согласованность между PostgreSQL и Elasticsearch достигается не транзакцией между ними, а архитектурным паттерном синхронизации данных. Обычно PostgreSQL хранит бизнес-данные, а Elasticsearch используется как поисковый индекс, который обновляется по событиям после изменения данных в основной БД. Это снижает риск потери данных и позволяет контролировать рассинхронизацию.

Пример использования:

Типичный вариант — запись заказа в PostgreSQL и публикация события order_created в очередь. Отдельный воркер читает события и обновляет документ в Elasticsearch. Если индексирование временно не удалось, событие переобрабатывается до успеха.

# Упрощенный пример: PostgreSQL — источник истины, Elasticsearch — поисковый индекс

def create_order(db, message_bus, order_data):
    # 1. Сохраняем данные в PostgreSQL
    order_id = db.insert_order(order_data)

    # 2. Публикуем событие для синхронизации с Elasticsearch
    message_bus.publish({
        "event_type": "order_created",
        "order_id": order_id,
        "payload": order_data
    })

    return order_id


def sync_order_to_es(es_client, event):
    # Идемпотентное обновление: одинаковое событие не должно ломать состояние
    doc_id = event["order_id"]
    es_client.index(
        index="orders",
        id=doc_id,
        document=event["payload"]
    )

Пояснение кода:

Здесь сначала данные надежно сохраняются в PostgreSQL, чтобы не потерять бизнес-состояние. Затем публикуется событие для фоновой синхронизации, чтобы не блокировать пользовательский запрос поисковым индексом. Воркер отдельно читает событие и обновляет Elasticsearch по order_id, что позволяет делать операцию идемпотентной: повторная обработка того же события приведет к тому же состоянию документа.

Если синхронизация критична, обычно добавляют outbox-паттерн: событие и изменение в PostgreSQL фиксируются в одной транзакции, а отдельный процесс уже отправляет изменения в очередь или напрямую в Elasticsearch. Это уменьшает риск ситуации, когда запись в БД прошла, а событие о ней потерялось.

Ключевые моменты:

PostgreSQL должен быть источником истины, Elasticsearch — только поисковым индексом.
Между ними обычно нет распределенной ACID-транзакции, поэтому синхронизация делается асинхронно.
Надежный подход — outbox-паттерн или change data capture, а не прямой двойной write без гарантий.
Обновления в Elasticsearch должны быть идемпотентными.
Нужны ретраи, DLQ/обработка ошибок и мониторинг рассинхронизации.
Для восстановления после сбоев полезна периодическая полная или частичная переиндексация.

Каким образом обеспечить согласованность данных между Elasticsearch и PostgreSQL?