Data Engineer

Ποια είναι η διαφορά μεταξύ των τύπων δεδομένων int και uint στο ClickHouse;

Πώς επηρεάζει το μέγεθος των κόκκων τον πίνακα ClickHouse;

Πώς να αποθηκεύσετε ένα JSON σε έναν φάκελο (στο πλαίσιο του Airflow DAG)

Μιλήστε για τις βασικές έννοιες του Kafka (ομάδα καταναλωτών, διαμερίσματα, θέματα).

[όνομα] πες μας λίγα πράγματα για την εμπειρία σου σχετικά με τις εργασίες μας, τις οποίες προσπαθήσαμε να περιγράψουμε στη θέση εργασίας.

Τι είναι ο τύπος πάπιας (duck typing);

Θα αναλύσουμε JSON — ποιος θα αναλύσει το JSON; Όσο γνωρίζω, στο ClickHouse δεν υπάρχουν συναρτήσεις.

Middle

МВидео

Τι είναι οι προβολές (VIEW) και οι υλοποιημένες προβολές (MATERIALIZED VIEW) στην Oracle; Πώς ενημερώνονται τα δεδομένα σε μια υλοποιημένη προβολή;

Middle

Aston

Τι είναι το LEFT SEMI JOIN και το LEFT ANTI JOIN στο Spark SQL, το έχετε χρησιμοποιήσει ποτέ;

Διαχωρίστε το JSON σε τρίτη κανονική μορφή: πώς θα αποθήκευες τη λίστα CashBreakdown και πώς θα δημιουργούσες υποκατάστατες κλειδιά;

Τι θα ήθελες να αναπτύξεις; Συγκεκριμένες αρχιτεκτονικές λύσεις;

Τι είναι η broadcast join στο Spark;

Middle

Aston

Ποια έκφραση στη θέση [...] θα οδηγήσει αυτόματα στη δημιουργία δείκτη; Στην κινητή πλατφόρμα υπάρχει οριζόντια κύλιση του κώδικα create table some_table( col_name [...] ); unique references other_table(col_name) not null serial integer check (col_name > 0)

Πείτε μας για τη χρήση των διαδικασιών PL/SQL στην εργασία σας.

Middle

Aston

Δημιουργήθηκε μια ειδική ακολουθία με όνομα even_sequence, που παράγει μόνο ζυγούς αριθμούς. Τι πρέπει να τοποθετηθεί στη θέση [...], ώστε σε περίπτωση που η τιμή του even_column δεν έχει καθοριστεί κατά την εισαγωγή, να λαμβάνεται από την even_sequence; create table some_table( even_column [...] ); integer computed as nextval('even_sequence') integer generated always as identity (start with 2 increment by 2) integer default nextval('even_sequence') integer unique default nextval('even_sequence') integer generated by even_sequence’

Έχεις ποτέ χρειαστεί να κάνεις αναφορές, πίνακες ελέγχου, οπτικοποιήσεις (BI);

Ποιος είναι ο κίνδυνος του shuffle στο Spark;

Middle

Островок

Χρησιμοποιήσατε ένα S3 bucket ή πολλά; Με ποιον τρόπο;

Middle+

Лига Цифровой Экономики

Τι είναι η διαμέριση δεδομένων και πώς βοηθά στην αποφυγή πλήρους σάρωσης του πίνακα;

Έχετε ανακαλύψει ότι στην ιστορία του κύριου αποθετηρίου Git υπάρχουν commits που περιέχουν κρίσιμα εμπιστευτικά δεδομένα. Αυτά τα δεδομένα πρέπει να διαγραφούν πλήρως από ολόκληρη την ιστορία του αποθετηρίου. Αξιολογήστε πόσο σωστό και ασφαλές θα ήταν να χρησιμοποιήσετε την ακόλουθη στρατηγική: δημιουργήστε ένα νέο commit που θα διαγράψει τα εμπιστευτικά δεδομένα από την τρέχουσα έκδοση των αρχείων και στείλτε το στο main. - Σωστό, αλλά όχι βέλτιστο. Είναι καλύτερο να χρησιμοποιήσετε το git revert για να αναιρέσετε commits - Συνθηματικά σωστό. Είναι μια προσωρινή λύση μέχρι να βρεθεί ένα πιο ριζικό μέσο για τη διαγραφή των δεδομένων - Λάθος και ανασφαλές. Τα δεδομένα θα διαγραφούν από την τρέχουσα έκδοση, αλλά θα παραμείνουν προσβάσιμα στην ιστορία του αποθετηρίου - Λάθος. Αυτό το commit μπορεί να προκαλέσει νέα συγκρούσεις κατά τη συγχώνευση με άλλα branches - Σωστό και ασφαλές. Αυτή η μέθοδος διασφαλίζει ότι τα δεδομένα θα διαγραφούν και δεν θα εμφανιστούν ξανά στο αποθετήριο