Kako Spark određuje da je tabela dovoljno 'mala' za broadcast join (gornja granica)?
Data Engineer
Koji fizički mehanizam JOIN će biti korišćen pri spajanju tabele transakcija sa tabelom kalendara po uslovu nejednakosti (datum <= datum)?
Koji format rada vam je najzgodniji — kancelarijski, hibridni ili udaljeni? Imamo dve kancelarije, na Kutuzovskom i u Tulama.
Da li ste ikada radili sa AQE (Adaptive Query Execution) optimizatorom u Spark-u? Znate li kako on funkcioniše?
А ако нам требају сви клијенти, чак и ако у тој датум нису имали трансакције, како их приказати?
Kako se orkestriraju pokretanja u DBT? Koristite li Airflow?
Koje vrste JOIN-a postoje u SQL (logički) i kako se razlikuju?
Молим те, испричај о свом искуству у последњој години: која екипа, које задатке, која улога и који је био најзанимљивији задатак.
Koje vrste fizičkih JOIN-ova postoje u Spark-u?