Data Engineer
Έχετε δουλέψει με το Git; Τι αποθηκεύατε στο Git;
Λεπτομερώς περιγράψτε τον αλγόριθμο καταγραφής του αυξήματος από την πηγή ώστε να μην χάνεται τίποτα κατά την αλλαγή της συχνότητας φόρτωσης.
Ποια στρατηγική θα ήταν αποτελεσματική για την εξάλειψη της ευπάθειας σε όλα τα κλαδιά με τον ελάχιστο κίνδυνο διατάραξης της λειτουργίας του έργου; - Δημιουργία σειράς revert commits για το προβληματικό commit και όλα τα commits που το διόρθωσαν μερικώς, στη συνέχεια δημιουργία ενός νέου commit με την πλήρη διόρθωση - Δημιουργία hotfix branch από ένα σημείο πριν το προβληματικό commit, πραγματοποίηση διορθώσεων και συγχώνευση αυτής της branch με όλα τα επηρεαζόμενα κλαδιά - Δημιουργία ενός ενιαίου commit διόρθωσης χρησιμοποιώντας git revert abc123 στο κύριο κλαδί και στη συνέχεια cherry-pick αυτού του commit σε όλα τα release κλαδιά - Χρήση git bisect για ακριβή εντοπισμό του προβληματικού κώδικα, δημιουργία patch και εφαρμογή σε όλα τα κλαδιά με git am - Χρήση git rebase -i για επεξεργασία του προβληματικού commit σε κάθε κλαδί, ακολουθούμενη από force-push (force-push)
Πες μας για τους δείκτες στο Greenplum και το ClickHouse
Χρησιμοποιήσατε Bridge και πίνακες PIT στο Data Vault; Δώστε ένα παράδειγμα και εξηγήστε τον σκοπό.
Σε ποιες περιπτώσεις μπορεί μια Materialized View στο ClickHouse να παραλείψει δεδομένα ή, αντίθετα, να τα διπλασιάσει;
Τι είναι η κανονικοποίηση και η αποκλιμάκωση, πότε χρειάζονται;
Ποια είναι τα μειονεκτήματα των UDF στο Spark και ποιο είναι το μεγαλύτερο μειονέκτημά τους;
Ποια ευρετήρια γνωρίζετε στο PostgreSQL;
Τι πρέπει να κάνετε αν θέλετε να αλλάξετε το κλαδί στο οποίο δείχνει ένα υπο-μονάδα; - Οι υπο-μονάδες δεν υποστηρίζουν την αλλαγή κλάδου - Διαγράψτε το υπο-μονάδα και προσθέστε το ξανά με το επιθυμητό κλαδί - Αλλάξτε το κλαδί στο υπο-μονάδα και κάντε ένα commit στο κύριο αποθετήριο - Εκτελέστε git checkout στο επιθυμητό κλαδί στο υπο-μονάδα και καταγράψτε τις αλλαγές στο κύριο αποθετήριο - Εκτελέστε git submodule update --branch καθορίζοντας το νέο κλαδί
Ποιες SQL ερωτήσεις γράφεις: απλές ελέγχους ή σύνθετα σενάρια για αποθήκες δεδομένων;
Πώς να διαγράψετε ένα υπο-μονάδα και τα σχετικά αρχεία από το έργο; git submodule remove <διαδρομή-υπο-μονάδας> git rm --cached <διαδρομή-υπο-μονάδας>; διαγράψτε την ενότητα από το .gitmodules; git commit git clean --submodules <διαδρομή> git submodule delete <διαδρομή> git remove submodule <διαδρομή>
Τι είναι η CTE (Κοινή Έκφραση Πίνακα);
Πόσο ρεαλιστικά είναι τα σχέδια της εταιρείας για την κατασκευή ενός συστήματος συλλογής, κανονικοποίησης και ανάλυσης δεδομένων;
Υπήρξε ένα αργό αναλυτικό ερώτημα στο Hive. Πώς να καταλάβετε τι συνέβη και πώς να το διορθώσετε;
Τι είναι το CROSS JOIN; Έχετε δουλέψει με αυτό;
Ποια είναι η διαφορά μεταξύ == και is στην Python;
Τι είναι η ιχνηλασιμότητα; Έχετε εμπειρία με αυτή;
Τι τύποι JOIN υπάρχουν στο SQL (λογικοί και φυσικοί);
Ανάλυση επισκεψιμότητας σε γυμναστήρια Εργάζεστε ως αναλυτής σε ένα δίκτυο γυμναστηρίων. Έχετε πληροφορίες σχετικά με τις επισκέψεις χρηστών και τις συνδρομές που αγοράζουν. Είναι απαραίτητο να αναλύσετε την αποτελεσματικότητα της χρήσης των συνδρομών. Υπολογίστε για κάθε τύπο συνδρομής: • τον συνολικό αριθμό χρηστών που χρησιμοποίησαν αυτόν τον τύπο συνδρομής. Λάβετε υπόψη μόνο μοναδικά user_id; • τον συνολικό αριθμό επισκέψεων με αυτήν τη συνδρομή. Λάβετε υπόψη όλες τις επισκέψεις χρηστών με αυτήν τη συνδρομή; • το ποσοστό χρηστών αυτής της συνδρομής επί του συνολικού αριθμού χρηστών (στρογγυλοποιημένο σε ένα δεκαδικό). Για τον υπολογισμό του ποσοστού χρηστών, χρησιμοποιήστε τη σχέση μεταξύ του αριθμού χρηστών με αυτήν τη συνδρομή και του συνολικού αριθμού μοναδικών χρηστών. Κάθε χρήστης μπορεί να έχει μόνο μία συνδρομή. Τα αποτελέσματα ταξινομήστε κατά τύπο συνδρομής σε αλφαβητική σειρά. Μορφή εισόδου Πίνακας memberships: • membership_id (int) — μοναδικός αναγνωριστικός κωδικός συνδρομής • user_id (int) — μοναδικός αναγνωριστικός κωδικός χρήστη • membership_type (text) — τύπος συνδρομής Πίνακας visits: