Data Engineer

Τι σημαίνει το UNBOUNDED PRECEDING στα όρια της παραθύρου λειτουργίας;

Πώς εργαστήκατε με τα αρχεία κατά την επανεκκίνηση του DAG μετά την αποτυχία του, ώστε να μην αντικαταστήσετε τα δεδομένα στο S3 με μη ολοκληρωμένα δεδομένα;

Τι είναι η broadcast join στο Spark;

Middle

Aston

Έχετε εργαστεί με αυξήσεις και πλήρεις φορτώσεις; Πώς αντιμετωπίσατε τα διπλότυπα;

Middle

Aston

Πώς να ενημερώσετε έναν πίνακα στο ClickHouse ώστε οι χρήστες να μην καταλάβουν τίποτα (ατομική αντικατάσταση);

Ποια φυσικά JOIN γνωρίζεις;

Middle

СБЕР

Ποιοι τύποι JOIN γνωρίζετε; Εξηγήστε 2-3 βασικούς.

Καταγράψτε τη σειρά εκτέλεσης των λειτουργιών σε ένα SQL με SELECT, FROM, WHERE, GROUP BY, HAVING, ORDER BY, LIMIT, από την πρώτη έως την τελευταία.

Αναφέρεις τις διαδικασίες Docker, μπορείς να εξηγήσεις περισσότερα για το πώς είναι οργανωμένο αυτό στην εταιρεία σας;

Τι εμπειρία έχετε με SQL και σχεσιακές βάσεις δεδομένων;

Ζήτημα σχεδιασμού αρχιτεκτονικής μικροϋπηρεσιών: πώς να παρέχετε δεδομένα για τον πίνακα παραγγελιών (προϊόντα, τιμές, παραγγελίες) στο frontend όταν υπάρχουν τρία ξεχωριστά μικροϋπηρεσίες;

Γιατί ψάχνεις μια νέα δουλειά και τι θα ήθελες να κάνεις στο μέλλον;

Πες μου για την κατανόησή σου για την ποιότητα των δεδομένων — έχεις εμπειρία σε αυτόν τον τομέα;

Middle

СБЕР

Πώς να αποφύγετε την ταυτόχρονη εκκίνηση περίπου 700 DAG κατά το catchup/backfill στο Airflow;

Middle

Островок

Πώς προτείνει το Git Flow να διαμορφωθεί μια νέα έκδοση της εφαρμογής; - Δημιουργώντας ένα νέο issue-branch - Δημιουργώντας ένα hotfix-branch από το master - Δημιουργώντας ένα ξεχωριστό release-branch από το develop - Κάνοντας άμεμο commit στο branch master - Συγχωνεύοντας απευθείας το branch master με το develop

Σε ποια πεδία πραγματοποιήθηκε η συγχώνευση δεδομένων και πώς αφαιρέθηκαν τα διπλότυπα από την βιτρίνα;

Γράψτε ένα απλό DAG για το Apache Airflow

Οι δείκτες βελτιώνουν πάντα την απόδοση ή μπορεί να προκαλέσουν υποβάθμιση;

Πώς προσθέτετε ένα κινούμενο μέσο όρο του συνολικού αριθμού παραγγελιών για την τρέχουσα και τις δύο προηγούμενες ημέρες ανά χρήστη;

Υπάρχουν δύο συναλλαγές. Αρχικά, η πρώτη συναλλαγή εκτελεί μια εντολή. Στη συνέχεια, η δεύτερη συναλλαγή εκτελεί μια εντολή. Μετά, η πρώτη συναλλαγή συνεχίζει. Ποια ακολουθία θα οδηγήσει σε αμοιβαίο αποκλεισμό; ```sql -- πρώτη συναλλαγή update accounts set balance = balance + 100 where id = ?; -- δεύτερη συναλλαγή update accounts set balance = balance - 50 where id = ?; update accounts set balance = balance + 200 where id = ?; ```