Έχουμε έναν πίνακα πελατών (id, όνομα, διεύθυνση κ.λπ.), προϊόντων (id, όνομα κ.λπ.), κίνηση προϊόντων (εδώ έχουμε id πελάτη, προϊόν, ημερομηνία, ποσότητα, συνολική), πρέπει να βρούμε ποια προϊόντα πωλήθηκαν στις 1 Ιανουαρίου, μόνο τα μοναδικά, και επίσης να εμφανίσουμε το όνομα του αγοραστή και...
Έχετε εργαστεί με βιτρίνες δεδομένων (στρώμα DWH);
Ποιο είναι το μισθό που περιμένετε;
Γιατί ψάχνεις τώρα μια νέα δουλειά, θέλεις να αλλάξεις δουλειά;
Μίλησέ μου για μερικές από τις πιο σημαντικές εργασίες σου σχετικά με την ποιότητα των δεδομένων.
Αν ενώσεις συναλλαγές με πελάτες με βάση το client_id και το date_start (χωρίς BETWEEN), τι θα καταγραφεί στο αποτέλεσμα;
Τι είναι το CROSS JOIN; Έχετε δουλέψει με αυτό;
Τι τύπους JOIN γνωρίζετε; (λογικοί)
Μπορεί κανείς να διαβάσει δεδομένα παράλληλα από ένα μόνο αρχείο Parquet στο Spark, ή μόνο με ένα πυρήνα σε μια εργασία;
Περιγράψτε τις λειτουργίες παραθύρου με την πιο εκτεταμένη μορφή: ποιες λέξεις-κλειδιά χρησιμοποιούνται και για τι ευθύνονται κάθε μία.
Ποια είναι τα πλεονεκτήματα και τα μειονεκτήματα των βάσεων δεδομένων γραμμής και στήλης; Ποιο είναι πιο αποτελεσματικό για ομαδοποίηση και σύγκλιση;
Σε ποια κατεύθυνση θα ήταν ενδιαφέρον να αναπτυχθεί — βιτρίνες, ανάπτυξη, ανάλυση, ίσως AI;
Τι είναι ένας δείκτης; Ποια είναι η διαφορά μεταξύ ενός κλιμακωτού και ενός μη κλιμακωτού δείκτη;
Αν στον executor υπάρχουν 10 πυρήνες, πόσες εργασίες θα εκτελούνται παράλληλα σε ένα στιγμιότυπο;
Πες μου για τον εαυτό σου — εμπειρία εργασίας, τεχνολογική στοίβα
-- Δεδομένος πίνακας numbers με μία στήλη num (ακέραιοι αριθμοί, που μπορεί να επαναλαμβάνονται). -- Γράψτε ένα ερώτημα SQL που θα διαχωρίσει τους αριθμούς σε δύο στήλες: -- even – ζυγοί αριθμοί (ταξινομημένοι αύξουσα) -- odd – μονάριθμοι (ταξινομημένοι αύξουσα) -- Οι αριθμοί πρέπει να τοποθετούνται γραμμή προς γραμμή: στην πρώτη γραμμή – ο πρώτος ζυγός και ο πρώτος μονός, -- στη δεύτερη γραμμή – ο δεύτερος ζυγός και ο δεύτερος μονός, κ.λπ. -- Αν σε μια ομάδα υπάρχουν περισσότεροι αριθμοί από την άλλη, οι ελλείπουσες θέσεις πρέπει να είναι NULL. -- αρχικός πίνακας -- num -- --------- -- [phone] -- αποτέλεσμα ερωτήματος -- even | odd -- -----|----- -- 2 | 1 -- 4 | 3 -- 6 | 5 -- 8 | 7 -- 10 | 9 -- NULL | 11 -- NULL | 11
Πες μου για την κατανόησή σου για την ποιότητα των δεδομένων — έχεις εμπειρία σε αυτόν τον τομέα;
Ποια φυσικά JOIN γνωρίζεις;
Τι είναι το LEFT SEMI JOIN και το LEFT ANTI JOIN στο Spark SQL, το έχετε χρησιμοποιήσει ποτέ;
Για τι ευθύνεται η Ομάδα Γραμμών στη δομή του αρχείου Parquet;
