Data Engineer

Πρόβλημα #2 Γράψτε ένα ερώτημα που εμφανίζει TOP-3 υπαλλήλους ανά μισθό σε κάθε τμήμα. Εμφανίστε το όνομα του τμήματος, το όνομα του υπαλλήλου και τον μισθό του. πίνακας employee: | id | name | salary | dept_id | |----|-------|--------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | πίνακας department: | id | name | |----|-----------| | 1 | Marketing | | 2 | IT | | 3 | Finance | Έξοδος: department_name, num, employee_name, salary με cte ως( select d.name as department_name, e.name as employee_name, e.salary, dense_rank από employee e ενώ department d on e.id = d.id

Middle

Островок

Ποια είναι η διαφορά μεταξύ ACID και του θεωρήματος CAP;

Middle

Островок

Τι είναι η Προσαρμοστική Εκτέλεση Ερωτήματος (AQE);

Middle

Островок

Αποτελέσματα: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | με cte ως( επιλέξτε order_id, customer_id, order_dt, lag(order_dt) πάνω από(κατανομή από customer_id κατά order_dt) ως prev_order_ft, datediff(ημέρα, prev_order_ft, order_dt) ως gap_days από Orders ) επιλέξτε customer_id, max(gap_days) ως gap_days από cte όπου gap_days > 60 group by customer_id

Middle

Островок

Από ποια στάδια αποτελείται μια συναλλαγή;

Middle

Островок

Ποιος είναι ο κίνδυνος του shuffle στο Spark;

Middle

Островок

Έχετε εργαστεί ποτέ με διακοσμητές σε Python; Τι είναι και πού εφαρμόζονται;

Middle

Островок

Σε ποια κατάσταση μπορεί η αναζήτηση σε ένα λεξικό να επιδεινωθεί μέχρι την χειρότερη περίπτωση;

Middle

Островок

Αναφέρετε τους μεταβλητούς και αμετάβλητους τύπους δεδομένων στην Python και δώστε παραδείγματα.

Middle

Островок

Έχετε εργαστεί με παραμέτρους και hints που καθορίζουν τη χρήση του Broadcast Join;

Middle

Островок

Εξηγήστε τους τεμπέληδες και άμεσους υπολογισμούς στο Spark.

Middle

Островок

Πώς να αποφύγετε την ταυτόχρονη εκκίνηση περίπου 700 DAG κατά το catchup/backfill στο Airflow;

Middle

Островок

Ποιοι είναι οι κίνδυνοι για την ποιότητα των δεδομένων;

Middle

Островок

Πες μου περισσότερα για το δίκτυο: τι είναι και γιατί είναι σημαντικό;

Middle

Островок

Πώς χειριζόσασταν συνήθως τα σφάλματα και τις ειδοποιήσεις στα pipelines;

Middle

Островок

Sual #1 İki cədvəli id atributu üzrə birləşdirərkən inner, left, right, full join ilə neçə qeyd qaytarılacaq? t1 t2 | id | | id | |-----| |-----| | 1 | | 1 | | 2 | | 1 | | 3 | | 3 | | 0 | | 5 | | NULL| | NULL| | NULL| inner: left: right: full outer:

Middle

Островок

Πώς διακρίνεις τους τεχνικούς και επιχειρηματικούς ελέγχους δεδομένων, και ποιος πρέπει να θέτει τις απαιτήσεις γι' αυτούς;

Middle

Островок

Γιατί το bool([""]) επιστρέφει True;

Middle

Островок

Τι γνωρίζεις για την σειριοποίηση και την αποσειριοποίηση στο πλαίσιο του Spark/UDF;

Middle

Островок

Ποια είναι η διαφορά μεταξύ repartition και coalesce στο Spark;

Middle

Островок