Data Engineer

Πώς να υλοποιήσετε την άνιση κατανομή των δεδομένων στη βιτρίνα: 50% στην πρώτη και 25% στις άλλες δύο;

Γράψτε SQL για την προσθήκη συσσωρευμένου αθροίσματος του ποσού παραγγελίας ανά χρήστη και ημερομηνία.

Ποιοι είναι οι κίνδυνοι για την ποιότητα των δεδομένων;

Middle

Островок

Πώς δημιουργήθηκαν οι πίνακες στο κλασέρ και πώς λύθηκε το πρόβλημα όταν, λόγω του ZooKeeper, έλειπε ένα αντίγραφο σε ένα shard;

Πώς παρακολουθούσατε την ποιότητα των δεδομένων;

Middle

Островок

Από ποια στάδια αποτελείται μια συναλλαγή;

Middle

Островок

Γιατί αποφασίσατε να βγάλετε την κατάταξη σε ένα ξεχωριστό CTE; Γιατί δεν μπορούσε να χρησιμοποιηθεί άμεσα στο πρώτο CTE;

Πώς να εργαστείτε με διαχωρισμούς μέσω coalesce και repartition;

1. Órdenes: - order_date datetime NO NULL - user_id int NO NULL - order_id int NO NULL 2. Bienes: - order_id int NO NULL - model int NO NULL - cat_1 varchar(50) NO NULL - price int NO NULL - quantity int NO NULL Valores en cat_1: - Ropa - Calzado - Cosméticos - Artículos para el hogar - Juguetes Mostrar la cantidad de pedidos y "cantidad de productos necesarios en la categoría en el pedido" para 2021 en las categorías "Ropa" y para 2022 en la categoría "Calzado" (forma final: 2 filas. Campos: año, cantidad de productos, cantidad de pedidos) with cte as( select year(o.order_date) as year_orders, g.cat_1, count(distinct o.order_id) as count_orders, sum(g.quantity) as count_quan from Orders o join Goods g on o.order_id = g.order_id where g.cat_1 = 'Ropa' and Year(o.order_date) = 2021 or g.cat_1 = 'Calzado' and Year(o.order_date) = 2022 group by year_orders, g.cat_1 ) select year_orders, count_quan, count_orders from cte

Γνωρίζετε το ReplicatedQueue; Έχετε εμπειρία με αυτό;

Γιατί χρειάζονται "φάκελοι"/προθέματα στο S3 εκτός από την ευκολία;

Middle+

Лига Цифровой Экономики

Έγινε επιπλέον καταγραφή εκτός από τα αρχεία καταγραφής του Airflow;

Middle+

Лига Цифровой Экономики

Τι κάνεις τον ελεύθερο χρόνο σου; Έχεις προσωπικά έργα;

Ποιοι τύποι JOIN υπάρχουν στο SQL (λογικοί) και πώς διαφέρουν μεταξύ τους;

Πώς να αντιμετωπίσετε την ασυνέπεια δεδομένων;

Middle

Островок

Πώς διορθώσατε την προκατάληψη των δεδομένων ανά client_id όταν ένας πελάτης ήταν σημαντικά μεγαλύτερος από τους άλλους; Ποιες είναι οι επιλογές;

Τι είναι βιτρίνα δεδομένων;

Πώς οργανώνεται η φόρτωση δεδομένων στο ClickHouse σε έναν μεγάλο πίνακα PostgreSQL, στον οποίο συνεχώς έρχονται νέες εγγραφές με μια μονοτονικά αυξανόμενη πρωτεύουσα κλείδα;

Έκανες στατιστικούς ελέγχους;

Middle

Островок

Τι είναι ο διακοσμητής σε Python;