Data Engineer
Descompune JSON în a treia formă normală: cum ai stoca lista CashBreakdown și cum ai genera chei surrogate?
Ce altceva ai scris în Python în afară de Airflow DAG?
МВидеоVorbiți despre cele mai bune practici de utilizare a indexurilor - când și cât de des să le folosiți.
Ai scris procese de ingestie în OpenMetadata care scanează sursele?
Лига Цифровой ЭкономикиAveți experiență în optimizarea interogărilor SQL? Oferiți un exemplu.
Verificări ale calității datelor — în ce etapă, ce verificări, ce se întâmplă cu datele nevalide?
СБЕРVă rugăm să ne spuneți de ce sunteți interesat de această poziție.
Ați lucrat cu FTP pentru a obține fișiere sau date prin portal?
Лига Цифровой ЭкономикиCum ați corectat biasul datelor pe client_id atunci când un client era semnificativ mai mare decât ceilalți? Care sunt opțiunile?
Ai experiență cu FastAPI?
AstonAnaliza frecventei în cluburile de fitness Lucrați ca analist într-o rețea de cluburi de fitness. Aveți informații despre vizitele utilizatorilor și abonamentele pe care le cumpără. Este necesar să analizați eficiența utilizării abonamentelor. Calculați pentru fiecare tip de abonament: • numărul total de utilizatori care au folosit acest tip de abonament. Luați în considerare doar user_id unice; • numărul total de vizite pentru acest abonament. Luați în considerare toate vizitele utilizatorilor cu acest abonament; • proporția utilizatorilor acestui abonament în procent din numărul total de utilizatori (rotunjit la o zecimală). Pentru calcularea proporției utilizatorilor, folosiți raportul dintre numărul de utilizatori cu acest abonament și numărul total de utilizatori unici. Fiecare utilizator poate avea doar un abonament. Sortați rezultatul după tipul de abonament în ordine alfabetică. Formatul de intrare Tabel memberships: • membership_id (int) — identificator unic al abonamentului • user_id (int) — identificator unic al utilizatorului • membership_type (text) — tipul abonamentului Tabel visits:
Cât timp ați lucrat în total cu Spark și cât de profund v-ați implicat în el?
Cu dependențe între joburi, între DAG-uri — ați folosit senzori pentru ca acestea să pornească unul după altul mai multe joburi?
МВидеоCând este potrivit ThreadPoolExecutor?
Pentru ce sunt folosite funcțiile de fereastră?
Cu ce probleme v-ați confruntat în lucrul cu Greenplum?
Data Vault este un instrument util, dar devine prea mult de obiecte. Poți explica diferența dintre hub-uri, link-uri și sateliți?
МВидеоCe beneficii aduce pattern-ul Strategie la refactorizarea acestui cod?
Ce se întâmplă dacă creezi un DAG cu start_date = 1 ianuarie 2024?
ОстровокFișierele de swap — cum influențează performanța? Când mai pot apărea fișiere de swap?
МВидео