Что такое идемпотентность DAG/таска в Airflow?

Идемпотентность DAG или таска в Airflow означает, что повторный запуск того же DAG или задачи не приводит к изменению результата или состоянию, отличному от первого успешного выполнения. То есть, если таск уже был выполнен с определённым результатом, повторный запуск не должен создавать дубликаты данных, не должен повторно выполнять побочные эффекты или изменять состояние системы.

Это важно для обеспечения надёжности и предсказуемости пайплайнов, особенно при сбоях и повторных запусках. Например, если задача загружает данные в базу, идемпотентность гарантирует, что при повторном запуске не будет дублирования записей.

Пример идемпотентного таска — загрузка данных с проверкой наличия уже загруженных записей или использование UPSERT вместо INSERT.