Data Engineer

Tâche n°2 Écrire une requête qui affiche les 3 employés les mieux payés dans chaque département. Afficher le nom du département, le nom de l'employé et son salaire. table employee: | id | nom | salaire | dept_id | |----|-------|---------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | table department: | id | nom | |----|--------------| | 1 | Marketing | | 2 | IT | | 3 | Finance | Sortie: department_name, num, employee_name, salary avec cte comme( sélectionner d.name comme department_name, e.name comme employee_name, e.salary, dense_rank de employee e joindre department d sur e.id = d.id

Middle

Островок

Qu'est-ce que l'exécution de requête adaptative (AQE) ?

Middle

Островок

Quelle est la différence entre ACID et le théorème CAP?

Middle

Островок

Résultat final: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | avec cte comme( sélectionner order_id, customer_id, order_dt, lag(order_dt) sur(partition par customer_id order par order_dt) comme prev_order_ft, datediff(jour, prev_order_ft, order_dt) comme gap_days de Orders ) sélectionner customer_id, max(gap_days) comme gap_days de cte où gap_days > 60 groupé par customer_id

Middle

Островок

Quel est le danger du shuffle dans Spark?

Middle

Островок

De quelles étapes se compose une transaction?

Middle

Островок

Dans quelle situation la recherche dans un dictionnaire peut-elle se dégrader jusqu'au pire cas?

Middle

Островок

Avez-vous déjà travaillé avec des décorateurs en Python ? Qu'est-ce que c'est et où sont-ils utilisés ?

Middle

Островок

Parlez des types de données mutables et immuables en Python et donnez des exemples.

Middle

Островок

Avez-vous travaillé avec des paramètres et des hints déterminant l'utilisation de Broadcast Join?

Middle

Островок

Parle-moi plus en détail du réseau : qu'est-ce que c'est et pourquoi c'est important ?

Middle

Островок

Comment gérez-vous habituellement les erreurs et alertes dans les pipelines?

Middle

Островок

Explique les calculs paresseux et immédiats dans Spark.

Middle

Островок

Question #1 Combien d’enregistrements la requête renverra-t-elle avec inner, left, right, full join de deux tables lors de la jointure par l’attribut id t1 t2 | id | | id | |-----| |-----| | 1 | | 1 | | 2 | | 1 | | 3 | | 3 | | 0 | | 5 | | NULL| | NULL| | NULL| inner: left: right: full outer:

Middle

Островок

Quels sont les risques liés à la qualité des données?

Middle

Островок

Comment éviter le lancement simultané d'environ 700 exécutions de DAG lors du catchup/backfill dans Airflow?

Middle

Островок

Pourquoi bool([""]) renvoie-t-il True ?

Middle

Островок

Que savez-vous de la sérialisation et de la désérialisation dans le contexte de Spark/UDF?

Middle

Островок

Quelle est la différence entre repartition et coalesce dans Spark?

Middle

Островок

Quelles stratégies physiques d'exécution de join connaissez-vous?

Middle

Островок