Data Engineer

Χρειαζόμαστε μια μηχανή pipeline — έναν μηχανισμό που θα επιτρέπει τη δημιουργία ροών πολύ γρήγορα μέσω της εισαγωγής συμβάσεων και παραμέτρων. Πώς θα το υλοποιούσες σε ανώτερο επίπεδο;

Middle

МВидео

Έχεις εμπειρία με εικόνες Docker, ρυθμίζοντας περιβάλλον σε εικονική μηχανή;

Έχετε εμπειρία στη βελτιστοποίηση εργασιών Spark; Μπορείτε να δώσετε ένα συγκεκριμένο παράδειγμα;

Middle

Aston

Γιατί αποφασίσατε να μπείτε στην αγορά και να αφήσετε την τρέχουσα εργασία σας;

Χρησιμοποιήθηκε η μέθοδος σύγκρισης hashes εγγραφών για τον υπολογισμό της διαφοράς μεταξύ πηγής και πίνακα προορισμού;

Πώς να μην σκοτώσετε το Jupyter ή το Pandas λόγω μνήμης;

Τι είναι το shuffle στο Spark και γιατί είναι σημαντικό να το ελαχιστοποιήσουμε;

Middle

Aston

Η αποθήκευση κατασκευάστηκε σύμφωνα με το σχήμα Data Vault — το ανέπτυξες και εσύ, το υποστήριζες; Πρόσθετες χειροκίνητα hubs, links;

Middle

МВидео

Γράψτε ένα απλό DAG για το Apache Airflow

Αναφέρεις τις διαδικασίες Docker, μπορείς να εξηγήσεις περισσότερα για το πώς είναι οργανωμένο αυτό στην εταιρεία σας;

CREATE TABLE core.localUserMetadata ON CLUSTER cluster_4x2 ( UserId String, Country String, LastLoginDate DateTime ) ENGINE = ReplikatedReplacingMergeTree() ORDER BY (UserId); CREATE TABLE core.userMetadata ON CLUSTER cluster_4x2 ( UserId String, Country String, LastLoginDate DateTime ) ENGINE = Distributed('cluster_4x2', 'core', 'localUserMetadata', cityHash64(LastLoginDate));

Πώς να αποφύγετε την ταυτόχρονη εκκίνηση περίπου 700 DAG κατά το catchup/backfill στο Airflow;

Middle

Островок

Έχετε χρειαστεί να αλληλεπιδράσετε άμεσα με Data Scientists, συλλέγοντας τις απαιτήσεις τους;

Ζήτημα σχεδιασμού αρχιτεκτονικής μικροϋπηρεσιών: πώς να παρέχετε δεδομένα για τον πίνακα παραγγελιών (προϊόντα, τιμές, παραγγελίες) στο frontend όταν υπάρχουν τρία ξεχωριστά μικροϋπηρεσίες;

Έχετε χρειαστεί ποτέ να γράψετε πακέτα σε Oracle;

Middle

Aston

Τι είναι το RDD στο Apache Spark και πώς διαφέρει από άλλες αφαιρέσεις του Spark;

Τι σημαίνει το UNBOUNDED PRECEDING στα όρια της παραθύρου λειτουργίας;

Ποιοι τύποι JOIN γνωρίζετε; Εξηγήστε 2-3 βασικούς.

Πες μου περισσότερα για το δίκτυο: τι είναι και γιατί είναι σημαντικό;

Middle

Островок

Σε ποια ομάδα και υπό ποια ηγεσία αισθάνεστε πιο άνετα να εργάζεστε;