Data Engineer

Πώς χειριζόσασταν συνήθως τα σφάλματα και τις ειδοποιήσεις στα pipelines;

Middle

Островок

# τι εμφανίζει s = 'abracadabra' print(s[5][0][0][0]) print(s[::-2]) s = [1, 2, 3] print(s * 2)

Τι συμβαίνει στο PostgreSQL μετά την εκτέλεση ενός ερωτήματος SELECT * FROM [πίνακας];

# τι εμφανίζει s = 'Abracadabra' print(s[5][0]) b = 'a' b[0] print(s[::2]) s = [1, 2, 3] print(s * 2)

Με ποια παραμέτρους του κινητήρα Distributed στο ClickHouse είστε εξοικειωμένοι;

Πώς θα περιέγραφες στον κώδικα έναν έλεγχο ότι μια τιμή διαφέρει σημαντικά από μια κανονική (αναμενόμενη) κατανομή;

Middle

Островок

Πώς να αποτρέψετε την εισαγωγή λανθασμένων δεδομένων που φορτώθηκαν στην βιτρίνα ή στον ενδιάμεσο πίνακα στις ανώτερες pipelines;

Middle

Островок

Έκανες στατιστικούς ελέγχους;

Middle

Островок

Με ποια προβλήματα αντιμετωπίσατε κατά την εργασία με το Greenplum;

Τι συμβαίνει φυσικά κατά τη διάρκεια ενός INSERT, UPDATE και DELETE στο Greenplum; γιατί μετά το DELETE ο χώρος στο δίσκο δεν απελευθερώνεται και ποια είναι η διαφορά μεταξύ DELETE και TRUNCATE;

Πώς διαφέρουν οι απαιτήσεις σε υπολογιστική ισχύ αποθήκευσης κατά το ETL και το ELT;

Εμφανίστε τον αριθμό των παραγγελιών και "προϊόντα της αναγκαίας κατηγορίας στην παραγγελία" για το 2021 στις κατηγορίες "Ένδυση" και για το 2022 στην κατηγορία "Παπούτσια" (τελική προβολή: 2 γραμμές. Πεδία: έτος, αριθμός προϊόντων, αριθμός παραγγελιών) with cte as( select year(o.order_date) as year_orders, g.cat_1, count(distinct o.order_id) as count_orders, sum(g.quantity) as count_quan from Orders o join Goods g on o.order_id = g.order_id where (g.cat_1 = 'Ένδυση' and Year(o.order_date) = 2021) or (g.cat_1 = 'Παπούτσια' and Year(o.order_date) = 2022) group by year_orders, g.cat_1 ) select year_orders, count_quan, count_orders from cte για το 2025, τα 3 κορυφαία σε κάθε κατηγορία με βάση τον όγκο πωλήσεων μοντέλο with cte as( select cat_1, price, quantity, model, rank() over(partition by g.cat_1) as rk from Orders o join Goods g on o.order_id = g.order_id where Year(o.order_date) = 2025 ) για το 2025, τα 3 κορυφαία σε κάθε κατηγορία με βάση το άθροισμα πωλήσεων μοντέλο with cte as( select g.cat_1, g.model, (price * quantity), rank() over(partition by g.cat_1) as rk from Orders o join Goods g on o.order_id = g.order_id where Year(o.order_date) = 2025 ) with cte as( select g.cat_1, g.model, sum(price * quantity) as sum_, rank() over(partition by g.cat_1 order by sum() desc) as rk from Orders o join Goods g on o.order_id = g.order_id where Year(o.order_date) = 2025 ) with cte1 as( select g.cat_1, g.model, sum(price * quantity) as sum_total, from Orders o join Goods g on o.order_id = g.order_id where Year(o.order_date) = 2025 ), cte2 as(select g.cat_1, g.model, sum_total, rank() over(partition by g.cat_1 order sum_total desc) as rk from cte1 ) select g.cat_1, g.model, sum_total from cte2 where rk <=3 γννωρίστε το όνομα της κατηγορίας, το μοντέλο και το συνολικό ποσό πωλήσεων (top 3) with cte1 as( select g.cat_1 as cat_name, g.model as model, sum(price * quantity) as sum_total, from Orders o join Goods g on o.order_id = g.order_id where Year(o.order_date) = 2025 group by Year(o.order_date), g.model ), cte2 as(select cat_name, model, sum_total, rank() over(partition by cat_name order sum_total desc) as rk from cte1 ) select cat_name, model, sum_total from cte2 where rk <=3

Τι είναι το RDD στο Apache Spark και πώς διαφέρει από άλλες αφαιρέσεις του Spark;

Γιατί αποφασίσατε να βγάλετε την κατάταξη σε ένα ξεχωριστό CTE; Γιατί δεν μπορούσε να χρησιμοποιηθεί άμεσα στο πρώτο CTE;

Τι είναι οι διακοσμητές στην Python;