В dbt для инкрементальной загрузки данных обычно используют стратегию, основанную на уникальном ключе и временной метке или другом поле, по которому можно определить новые или изменённые записи.

Основные подходы:

append — просто добавляем новые записи, не трогая старые. Подходит, если данные не обновляются.
merge (upsert) — обновляем существующие записи и добавляем новые, используя уникальный ключ. Требует поддержки со стороны базы данных (например, MERGE или ON CONFLICT в Postgres).
insert_overwrite — перезаписываем часть таблицы, например, по партиции.

Пример конфигурации модели с merge:

{{ config(
    materialized='incremental',
    unique_key='id'
) }}

select * from source_table

{% if is_incremental() %}
  where updated_at > (select max(updated_at) from {{ this }})
{% endif %}

Здесь при инкрементальной загрузке берутся только записи с updated_at больше максимального в целевой таблице, а затем dbt обновит или вставит их по unique_key.

Также можно использовать кастомные стратегии, например, хранить флаг обработки или использовать временные метки для определения изменений.

Какими стратегиями инкрементальной загрузки в dbt пользовался?