Data Engineer
Kā jūs labojāt datu novirzi ar client_id, kad viens klients bija būtiski lielāks par pārējiem? Kādas ir iespējas?
Kā parasti organizējat savu darbu uzdevumos un kā sekojat līdzi progresam?
Kopējais lejupielāžu skaits — augstākās līmeņa darbi, pavedieni?
Kā pārsūtīt datus starp uzdevumiem Airflow?
Kā dati no ārējās tabulas tika ielādēti galamērķa tabulās?
Vai jums ir jautājumi par komandu un lomu?
Vai jums ir pieredze pipeline konfigurēšanā CI/CD, piemēram, GitLab?
Kāda ir atšķirība starp WHERE un HAVING SQL?
Kas notika un kā atgūt darbu?
Vai veicāt statistiskas pārbaudes?
Kāda ir atšķirība starp Greenplum un PostgreSQL?
Sarakstiet pazīstamās SQL loga funkcijas.
Kā jūs strādājāt ar failiem, atkārtoti palaist DAG pēc tā krišanas, lai nesaglabātu datus S3 ar nepilnīgiem datiem?
Kas ir "mirusi kopa" (dead tuple)?
Kā jūs piegādājat DAG kodu uz ražošanas vidi?
Vai jums ir pieredze ar tādiem motoriem kā Trino vai ar tabulas formātiem (Iceberg, Parquet) Spark?
Kāda ir ideālā attiecība starp biznesa uzdevumiem un infrastruktūras uzdevumiem jums?
Kas tevi pievelk travel jomā? Varbūt tev patīk pats ceļot, vai travel-tech tevi kaut kādā veidā interesē?
1. Pasūtījumi: - order_date datetime NE NULL - user_id int NE NULL - order_id int NE NULL 2. Preces: - order_id int NE NULL - model int NE NULL - cat_1 varchar(50) NE NULL - price int NE NULL - quantity int NE NULL Vērtības cat_1: - Apģērbi - Apavi - Kosmētika - Mājsaimniecības preces - Rotaļlietas Parādīt pasūtījumu skaitu un "nepieciešamo produktu skaitu kategorijā pasūtījumā" par 2021 gadu kategorijā "Apģērbi" un par 2022 gadu kategorijā "Apavi" (galīgais skats: 2 rindas. Lauki: gads, produktu skaits, pasūtījumu skaits) with cte as( select year(o.order_date) as year_orders, g.cat_1, count(distinct o.order_id) as count_orders, sum(g.quantity) as count_quan from Orders o join Goods g on o.order_id = g.order_id where g.cat_1 = 'Apģērbi' and Year(o.order_date) = 2021 or g.cat_1 = 'Apavi' and Year(o.order_date) = 2022 group by year_orders, g.cat_1 ) select year_orders, count_quan, count_orders from cte
Vai vari atcerēties savu pieredzi vaicājumu optimizācijā? Kā tu rīkojies, analizēji?