Data Engineer

Τι είναι το VACUUM στο PostgreSQL; Ποιος είναι ο σκοπός του;

Πώς να λύσετε ένα πρόβλημα σε γραμμικό χρόνο O(n) χρησιμοποιώντας ένα λεξικό; Τι πρέπει να αποθηκεύσετε στο λεξικό για να δημιουργήσετε στη συνέχεια μια ταξινομημένη συμβολοσειρά; Πώς να χειριστείτε χαρακτήρες που δεν υπάρχουν στη σειρά;

Μερίδιο της κυκλοφορίας των bots Η ομάδα κατά της απάτης έχει αναπτύξει έναν μηχανισμό για τον εντοπισμό της κυκλοφορίας των bots στον ιστότοπο του καταστήματος: όταν ένας bot εισέρχεται στον ιστότοπο, προστίθεται η υποαλυσίδα "bot" (χωρίς διάκριση πεζών/κεφαλαίων) στις παραμέτρους του URL του. Αν το user_id έχει ταυτοποιηθεί ως bot τουλάχιστον μία φορά τον Δεκέμβριο, πρέπει πάντα να θεωρείται ως bot. Μελετήστε το σύνολο δεδομένων με τις επισκέψεις χρηστών στον ιστότοπο και υπολογίστε το ποσοστό των bots επί του συνολικού αριθμού χρηστών τον Δεκέμβριο του 2024 (στρογγυλοποιήστε σε ένα δεκαδικό). Μορφή εισόδου Πίνακας visits: - event_date (date) — ημερομηνία επίσκεψης - user_id (int) — μοναδικός αναγνωριστικός χρήστη - url (string) — σύνδεσμος μέσω του οποίου πραγματοποιήθηκε η επίσκεψη Τα δεδομένα δεν περιέχουν ελλείποντα ή λανθασμένα στοιχεία. Μορφή εξόδου Το ερώτημα πρέπει να επιστρέφει έναν πίνακα με τα πεδία: - share (float) — ποσοστό των bots επί του συνολικού αριθμού χρηστών τον Δεκέμβριο, στρογγυλοποιημένο σε ένα δεκαδικό.

Περιγράψτε τις μεθόδους βελτιστοποίησης ερωτημάτων SQL που εφαρμόσατε. Πώς μειώσατε τον χρόνο εκτέλεσης από 12-15 δευτερόλεπτα;

Middle

Купер

Εξηγήστε πώς λειτουργεί τεχνικά το Git LFS και ποια πλεονεκτήματα προσφέρει σε σύγκριση με το τυπικό Git κατά την εργασία με μεγάλα αρχεία.

Τι είναι μια SQL injection;

Τι κάνετε όταν αντιμετωπίζετε ένα πρόβλημα στην παραγωγική γραμμή;

Τι θυσιάζει η βάση δεδομένων κατά τη γρήγορη φόρτωση δεδομένων (COPY στο Postgres, BULK INSERT);

Τι είναι το DAG στο Airflow, από τι αποτελείται και πώς εκτελεί το Airflow ένα DAG;

Ποιες είναι οι αναμενόμενες αποδοχές σας;

Ποια προβλήματα μπορεί να εντοπίσει η ιχνηλασιμότητα;

Τι είναι η ιδιομορφία σε DAG/εργασία στο Airflow;

Γράψτε ένα DAG για τη φόρτωση δεδομένων μέσω REST API

Πώς λειτουργεί η συμπίεση στο ClickHouse;

Πες μου για την αρχιτεκτονική της αποθήκευσης: πώς χωρίστηκε σε στρώματα, ποια είναι τα χαρακτηριστικά κάθε στρώματος;

Περισσότερο ανήκει το Greenplum στον τύπο OLTP ή OLAP;

Middle

МВидео

Πώς αποκαθιστάτε την εργασία από ένα απομακρυσμένο κλαδί αν λαμβάνετε μήνυμα σφάλματος ότι το κλαδί δεν βρέθηκε όταν προσπαθείτε να κάνετε `git checkout hotfix/missing-footer`;

Πώς μπορεί να συμβεί μια εισαγωγή SQL μέσω του πεδίου εισαγωγής ημερομηνίας;

Αυτό είναι σε πραγματικό χρόνο, πώς να το υλοποιήσουμε ανάμεσα σε Kafka και ClickHouse Spark;

Middle

МВидео

Τι είναι το YARN και ποιος είναι ο σκοπός του;

Middle

Aston