Data Engineer

Ποια ευρετήρια γνωρίζετε στο PostgreSQL;

Έχετε εργαστεί άμεσα με το Spark; Ποιο είναι το μειονέκτημά του;

Middle

МВидео

Η πίνακας notifications περιέχει ένα πεδίο status, στο οποίο οι τιμές είναι: 'sent', 'delivered', 'read'. Ποιο από τα ερωτήματα είναι σωστό; select * from notifications where status like '%sent%' order by created_at desc limit 5 select * from notifications where status = 'read' order by created_at desc limit 5 select * from notifications order by status desc limit 5 select * from notifications where status not in ('sent', 'delivered') order by created_at asc limit 5 select * from notifications where status in ('sent', 'delivered') order by created_at desc limit 5

Πώς επεξεργάζονται τα δεδομένα αυτήν τη στιγμή; Αν βρίσκονται σε διαφορετικές μορφές, πώς κανονικοποιούνται και προσαρμόζονται σε μια ενιαία μορφή;

Το κλαδί feature περιέχει αρκετά commits με ένα αρχείο config.yaml που έγινε λανθασμένα commit, το οποίο διορθώθηκε αργότερα. Ως αποτέλεσμα, η ομάδα αποφάσισε να διαγράψει εντελώς όλες τις αλλαγές του αρχείου από την ιστορία, ώστε να αποφευχθεί η αποκάλυψη εμπιστευτικών ρυθμίσεων. Η αρχική κατάσταση του κλαδιού (έξοδος του git log --oneline): 1 a4b5c67 (HEAD -> feature) Αναδιαμόρφωσε τη λογική της υπηρεσίας 2 d9f0a11 Διόρθωσε τυπογραφικό λάθος στο config.yaml 3 7c1d3f2 Πρόσθεσε προσωρινό config.yaml 4 e3a98cd Πρώτη δέσμευση 5 Μετά την αναγραφή της ιστορίας για να διαγραφεί το αρχείο config.yaml, η έξοδος του git log --oneline έγινε: 6 b9e7d42 (HEAD -> feature) Αναδιαμόρφωσε τη λογική της υπηρεσίας 7 41f3b60 Πρώτη δέσμευση Τι ενέργεια πραγματοποίησε η ομάδα; - Εκτέλεσε git revert στη δέσμευση με το config.yaml - Εκτέλεσε git filter-branch --index-filter "git rm --cached config.yaml" -- --all - Εκτέλεσε git rebase -i διαγράφοντας commits που περιείχαν αλλαγές στο αρχείο - Εκτέλεσε git commit --amend και git push --force - Χρησιμοποίησε git cherry-pick για να δημιουργήσει ένα νέο κλαδί χωρίς το config.yaml

Τι είναι η CTE (Κοινή Έκφραση Πίνακα);

Πόσο συχνά υπολογίζονταν οι βιτρίνες; Ήταν μια αυξανόμενη ή πλήρης υπολογισμός;

Τι μπορούμε να πούμε για την ορθότητα του ακόλουθου ερωτήματος; select * from sessions where ended_at is null and status != 'pending';

Αναφορά για την εταιρεία logistics Είστε αναλυτής σε μια εταιρεία logistics που καταγράφει τις επιχειρήσεις σε αποθήκες. Πρέπει να ετοιμάσετε μια αναφορά για την αποδοτικότητα κάθε αποθήκης. Για κάθε αποθήκη, υπολογίστε: • το συνολικό αριθμό επιχειρήσεων (count_operations); • το συνολικό αριθμό προϊόντων που επεξεργάστηκε η αποθήκη (sum_quantity); • τον μέσο χρόνο επεξεργασίας μιας επιχείρησης (avg_processing_time), λαμβάνοντας υπόψη μόνο τις επιχειρήσεις με καθορισμένο χρόνο (όχι NULL), στρογγυλοποιημένο στον πλησιέστερο ακέραιο; • το μέγιστο και ελάχιστο αριθμό προϊόντων που επεξεργάστηκε σε μια επιχείρηση (max_quantity, min_quantity); • τον αριθμό επιχειρήσεων κάθε τύπου («παροχή», «αποστολή», «μετακίνηση») σε ξεχωριστές στήλες: supply_operations, shipment_operations, transfer_operations. Φιλτράρετε τις αποθήκες όπου ο συνολικός αριθμός επιχειρήσεων είναι μεγαλύτερος από 2 και ο μέσος χρόνος επεξεργασίας δεν υπερβαίνει τα 60 λεπτά. Ταξινομήστε το αποτέλεσμα κατά ID αποθήκης σε αύξουσα σειρά. Μορφή εισόδου Πίνακας operations: • operation_id (int) — μοναδικός αναγνωριστικός αριθμός επιχείρησης • warehouse_id (int) — αναγνωριστικός αριθμός αποθήκης • operation_type (text) — τύπος επιχείρησης: «παροχή», «αποστολή», «μετακίνηση»

Δεδομένης μιας συμβολοσειράς order που καθορίζει τη ζητούμενη σειρά των χαρακτήρων. Απαιτείται να αναδιατάξετε τους χαρακτήρες στη συμβολοσειρά unsorted_str ώστε η σειρά να συμφωνεί με τη συμβολοσειρά order. Και οι δύο συμβολοσειρές αποτελούνται από μικρά γράμματα του αγγλικού αλφαβήτου, όλοι οι χαρακτήρες στο order είναι διαφορετικοί. Η σειρά των χαρακτήρων στο unsorted_str ονομάζεται συνεπής με τη συμβολοσειρά order, αν από το γεγονός ότι ο χαρακτήρας x εμφανίζεται πριν από τον χαρακτήρα y στο order, προκύπτει ότι κάθε εμφάνιση του x στο unsorted_str πρέπει να είναι πριν από κάθε εμφάνιση του y. Επιτρέπονται καταστάσεις όπου στο order δεν υπάρχουν χαρακτήρες από το unsorted_str και το αντίστροφο. Επιστρέψτε οποιαδήποτε επιτρεπτή αναδιάταξη. unsorted_str = "abcd" order = "cba" απάντηση = "dcba" ("cdba", "cbda", "cbad") def CustomSort(unsorted_str: str, order: str) -> str: # κώδικας εδώ

Πώς διαχωρίζουμε το αίτημα σε στάδια; Τι κάνουμε γι' αυτό;

Middle

МВидео

Αναφορά για την εταιρεία logistics Είστε αναλυτής σε μια εταιρεία logistics που καταγράφει τις επιχειρήσεις στα αποθήκες. Πρέπει να ετοιμάσετε μια αναφορά για την αποδοτικότητα κάθε αποθήκης. Για κάθε αποθήκη, υπολογίστε: • το συνολικό αριθμό επιχειρήσεων (count_operations); • το συνολικό αριθμό προϊόντων που επεξεργάστηκε η αποθήκη (sum_quantity); • τον μέσο χρόνο επεξεργασίας μιας επιχείρησης (avg_processing_time), λαμβάνοντας υπόψη μόνο τις επιχειρήσεις με καθορισμένο χρόνο (όχι NULL), στρογγυλοποιημένο στον πλησιέστερο ακέραιο; • το μέγιστο και ελάχιστο αριθμό προϊόντων που επεξεργάστηκε σε μια επιχείρηση (max_quantity, min_quantity); • τον αριθμό επιχειρήσεων κάθε τύπου («παράδοση», «αποστολή», «μεταφορά») σε ξεχωριστές στήλες: supply_operations, shipment_operations, transfer_operations. Φιλτράρετε τις αποθήκες όπου ο συνολικός αριθμός επιχειρήσεων είναι μεγαλύτερος από 2 και ο μέσος χρόνος επεξεργασίας δεν υπερβαίνει τα 60 λεπτά. Ταξινομήστε το αποτέλεσμα κατά ID αποθήκης σε αύξουσα σειρά. Μορφή εισόδου Πίνακας operations: • operation_id (int) — μοναδικός αναγνωριστικός αριθμός επιχείρησης • warehouse_id (int) — ID αποθήκης • operation_type (text) — τύπος επιχείρησης: «παράδοση», «αποστολή», «μεταφορά» • quantity (int) — αριθμός μονάδων προϊόντος στην επιχείρηση • operation_date (timestamp) — ημερομηνία και ώρα επιχείρησης • processing_time (int) — χρόνος επεξεργασίας επιχείρησης Η στήλη processing_time μπορεί να περιέχει NULL τιμές. Μορφή εξόδου Το ερώτημα πρέπει να επιστρέφει έναν πίνακα με τα πεδία με την ακόλουθη σειρά: • warehouse_id (int) — μοναδικό ID αποθήκης • count_operations (int) — συνολικός αριθμός επιχειρήσεων που πραγματοποιήθηκαν στην αποθήκη • sum_quantity (int) — συνολικός αριθμός προϊόντων που επεξεργάστηκε η αποθήκη • avg_processing_time (numeric) — μέσος χρόνος επεξεργασίας επιχείρησης (σε λεπτά), λαμβάνοντας υπόψη μόνο τις επιχειρήσεις με χρόνο διαφορετικό από NULL, στρογγυλοποιημένο στον πλησιέστερο ακέραιο • max_quantity (int) — μέγιστος αριθμός προϊόντων που επεξεργάστηκε σε μια επιχείρηση • min_quantity (int) — ελάχιστος αριθμός προϊόντων που επεξεργάστηκε σε μια επιχείρηση • supply_operations (int) — αριθμός επιχειρήσεων τύπου «παράδοση» • shipment_operations (int) — αριθμός επιχειρήσεων τύπου «αποστολή» • transfer_operations (int) — αριθμός επιχειρήσεων τύπου «μεταφορά»

Έχετε εργαστεί με περιστατικά ποιότητας δεδομένων;

Middle

СБЕР

Τι σε παρακινεί στη δουλειά; Αναφέρετε τα δυνατά σας σημεία όσον αφορά τις hard skills.

Middle

Купер

Γιατί δεν είναι καλό να κάνετε πολλά μικρά inserts στο ClickHouse;

Έχεις κατασκευάσει πίνακες ελέγχου και έχεις εργαστεί με εργαλεία οπτικοποίησης δεδομένων (εργαλεία BI);

Middle

Альфа-Банк

Πώς σχετίζονται οι διαχωρισμοί Spark και οι διαχωρισμοί στους πίνακες (για παράδειγμα, στο Iceberg);

Σε ποια ομάδα και υπό ποια ηγεσία αισθάνεστε πιο άνετα να εργάζεστε;

Σε ποιες περιπτώσεις μπορεί μια Materialized View στο ClickHouse να παραλείψει δεδομένα ή, αντίθετα, να τα διπλασιάσει;

Τι συνέβαινε όταν ενεργοποιούνταν ο περιορισμός ποιότητας δεδομένων: ειδοποίηση, πτώση, επανεκκίνηση;

Middle+

Лига Цифровой Экономики