Data Engineer
Πώς θα προχωρούσατε με τη σειρά Materialized View μέσω ενός ενδιάμεσου πίνακα ReplacingMergeTree για να γεμίσετε σωστά τα δεδομένα που υπήρχαν ήδη πριν από την εκκίνηση της νέας MV;
Πώς καθορίζει το Spark ότι ένας πίνακας είναι αρκετά 'μικρός' για broadcast join (ανώτατο όριο);
Τι δεν σου αρέσει αυτήν τη στιγμή στη δουλειά σου;
Τι είναι το πρωτεύον κλειδί στο ClickHouse και πώς διαφέρει από το πρωτεύον κλειδί σε συνηθισμένες βάσεις δεδομένων;
Τι είναι η σημασιολογική έκδοση; Πότε να αυξήσετε το major, minor, patch;
Ποιοι είναι οι κίνδυνοι για την ποιότητα των δεδομένων;
Τι είναι ο βελτιστοποιητής Catalyst στο Spark και ποια συγκεκριμένα παραδείγματα βελτιστοποιήσεων κάνει (π.χ., predicate pushdown);
Πώς συγκρίνουμε τον αρχικό ("ζωντανό") και τον τελικό πίνακα, αν η πηγή αλλάζει συνεχώς;
Πες μου περισσότερα για το δίκτυο: τι είναι και γιατί είναι σημαντικό;
Πώς να εντοπίσετε σε ποια εκτέλεση του DAG εμφανίστηκε μια συγκεκριμένη γραμμή στο Data Vault;
Πες μου για την εμπειρία σου στην X5: τι ασχολήθηκες με το DWH;
Πώς εισέρχονται τα δεδομένα στην αποθήκευση στον τρέχοντα χώρο εργασίας;
Γιατί αποφασίσατε να μπείτε στην αγορά και να αφήσετε την τρέχουσα εργασία σας;
Εργάζεστε σε ένα νέο χαρακτηριστικό στο branch dev. Ξαφνικά, προκύπτει η ανάγκη να μεταβείτε γρήγορα στο branch main για να διορθώσετε ένα ορθογραφικό λάθος στο αρχείο README.md. Έχετε μερικές μη δεσμευμένες αλλαγές: στο src/feature.js (μη δεσμευμένο) και styles/main.css (δεσμευμένο). Θέλετε να αποθηκεύσετε προσωρινά όλες αυτές τις αλλαγές για να επιστρέψετε σε αυτές αργότερα στο branch dev. Ποια ακολουθία εντολών πρέπει να χρησιμοποιήσετε για αυτό; git stash save "WIP on feature" && git checkout main && [fix] && git checkout dev && git stash pop git stash push -m "WIP on feature" && git checkout main && [fix] && git checkout dev && git stash pop git stash && git checkout main && [fix] && git checkout dev && git stash apply git add . && git stash && git checkout main && [fix] && git checkout dev && git stash drop git commit -m "Temp commit" && git checkout main && [fix] && git checkout dev && git reset HEAD^
Αναφέρετε την εργασία ρύθμισης αναπαραγωγής που λύσατε.
Τι είναι μια Υλοποιημένη Προβολή και πώς διαφέρει από μια κανονική Προβολή;
Έχει νόημα να χρησιμοποιείτε CTE αν χρησιμοποιείται μόνο μία φορά στο ερώτημα;
Έχεις ήδη κάποιες προτάσεις εργασίας;
Ποια είναι τα μειονεκτήματα των UDF στο Spark και ποιο είναι το μεγαλύτερο μειονέκτημά τους;
Περιγράψτε τις λειτουργίες παραθύρου με την πιο εκτεταμένη μορφή: ποιες λέξεις-κλειδιά χρησιμοποιούνται και για τι ευθύνονται κάθε μία.