Wie würdest du eine skalierbare Datenladung aus mehreren REST-APIs entwerfen: vom Datenerwerb bis zu S3, mit einer Schnittstelle für einen Analysten?
Senior
3
Data Engineer
743
0
Was ist prozedural SQL?
Middle
3
Erzählen Sie uns von sich und Ihrer Erfahrung im Data Engineering.
Senior
3
Es gibt 101 Objekte: 100 Nullen und 1 Eins. Nach Sortierung nach Score kommen zuerst 50 Nullen, dann eine, dann weitere 50 Nullen. Was sind ROC AUC und die Form der ROC-Kurve?
Middle+
3
Was sind die Nachteile von Indizes abgesehen vom belegten Platz?
Middle
3
Beim Gradient Boosting wurde bereits eine Komposition aus N Basisalgorithmen erstellt. Was wird das Ziel für den neuen, N+1-ten Algorithmus sein?
Middle+
3
Warum sind Lazy Evaluations nützlich?
Middle
3
Was ist Data Spill in Spark und wie kann man es vermeiden, wenn Ressourcen nicht einfach hinzugefügt werden können?
Middle
3
Wie würden Sie hochbelastete Datenumwandlungen handhaben?
Middle
3
Wie unterscheiden sich die Spark-Startmodi: cluster, client und local?
Middle
3
Was sind die Vor- und Nachteile bei der Implementierung eines API-Laders als benutzerdefinierten Airflow-Operator/Hook im Vergleich zu einer separaten Bibliothek oder Container-Service?
Senior
3
2. Es gibt eine Tabelle t, die die Summe der Transaktionen der Kunden pro Tag auflistet: - Schreiben Sie eine Abfrage, die für jede Zeile die Transaktionen des Kunden für den aktuellen und den vorherigen Kalendertag anzeigt Die endgültige Tabelle ist unten:
Middle
3
Was sind Lazy Evaluations und wie versteht man sie?
Middle
3
Welche typischen Aufgaben haben Sie in Airflow gelöst?
Middle
3
Datum, Bestellnummer, Betrag select date, sum(amount) as sum_amount from t group by date having sum(amount) > 1000000 order by sum_amount desc limit 3
Middle
3
Was sind Sternmodelle und Data Vault?
Middle
3
Erzählen Sie uns von sich: Wo haben Sie zuletzt gearbeitet, was haben Sie gemacht, was suchen Sie und warum?
Middle+
2
Wo befinden sich Driver und Executors im Cluster-Modus und warum wird es in der Produktion verwendet?
Middle
2
Wo genau tritt der Gradient im Gradient-Boosting-Algorithmus auf, wenn der Basiskomponent ein einfacher Entscheidungsbaum ist?
Middle+
2
Aus welchen Komponenten bestehen Greenplum und Hadoop HDFS?
Middle
2