Kaip perduoti didelius duomenis tarp užduočių Airflow?

Airflow'e, XCom'u naudinga naudoti dideliems duomenų perdavimams tarp užduočių, nes jis skirtas mažiems pranešimams (paprastai iki 48 KB). Vietoj to, geriau naudoti išorinius saugyklus:

• Saugojimas debesų saugyklose (S3, GCS, Azure Blob) arba duomenų bazėse.
• Nuorodų (kelių, raktų) perdavimas tarp užduočių per XCom.

Šis požiūris leidžia efektyviai dirbti su dideliais duomenų kiekiais ir išvengti Airflow metaduomenų perkrovos.

Pavyzdys:

# Pirmojoje užduotyje išsaugome duomenis S3 ir perduodame raktą
s3_key = upload_to_s3(data)
ti.xcom_push(key='s3_key', value=s3_key)

# Antrojoje užduotyje gauname raktą ir įkeliame duomenis
s3_key = ti.xcom_pull(key='s3_key')
data = download_from_s3(s3_key)