Qu'est-ce qui déclenche la création d'un nouveau Job dans Spark, et comment un Job est-il divisé en Stages et Tasks?
Middle+
164
Data Engineer
671
0
Expliquez de manière générale comment l'architecture de Spark est organisée : quels composants existent et comment ils interagissent lors de l'exécution d'une requête SQL.
Middle+
163
Qu'est-ce que la partition ? Qu'est-ce que le sharding ? Qu'est-ce que la réplication ?
Middle+
162
Si nous mettons une condition de filtrage par date de transaction dans WHERE (après LEFT JOIN), cela va-t-il limiter le résultat de la première table (clients) ?
Middle
161
## problème de mode # Il y a une liste de nombres. Écrivez une fonction qui trouve la mode de cette liste. # find_mode([1, 2, 3, 3, 4, 5]) #> 3
Middle
161
Que renverra la fonction find_mode pour la liste [1, 2, 3, 3, 4, 5] ? Explique étape par étape.
Middle
160
SELECT client_id, ФИО, SUM(suma) AS total_amount FROM clients JOIN transactions ON clients.client_id = transactions.client_id WHERE дата = '2025-05-01' GROUP BY client_id, ФИО;
Middle
160
-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [téléphone] null null 5 SÉLECTIONNER a.num AS a_num, b.num AS b_num DE t1 a JOINTURE GAUCHE t2 b SUR a.num = b.num;
Middle
160
À quoi sert le Groupe de Lignes dans la structure du fichier Parquet?
Middle+
159
Raconte-moi où tu as travaillé en tant qu'analyste système et quelles tâches tu as accomplies?
Middle
157
Quelle est la différence entre le format de stockage Parquet et CSV?
Middle+
157
Quelle est la différence entre partitionnement et sharding?
Middle
157
Avez-vous effectué vous-même les vérifications de la qualité des données, ou les exigences provenaient-elles du secteur/clients ?
Middle
150
Quels sont les méthodes (types) de stockage de l'historique des données que vous connaissez ? Comment l'historique s'accumule-t-il dans les tables ?
Middle
150
Quel format de travail préférez-vous : bureau, hybride ou télétravail ? Nous avons deux bureaux, à Kutuzovsky et à Tula.
Middle
149
Quels types de JOIN physiques existent dans Spark?
Middle+
149
Comment obtenir le dernier nom complet de chaque client, si seule la date de début est connue (la date de fin n'est pas connue) ?
Middle
149
Quel mécanisme physique de JOIN sera utilisé lors de la jointure de la table des transactions avec la table du calendrier selon la condition d'inégalité (date <= date) ?
Middle+
148
Que signifie UNBOUNDED PRECEDING dans les limites de la fenêtre de la fonction de fenêtre?
Middle+
148
Avez-vous déjà travaillé avec l'optimiseur AQE (Exécution Adaptative des Requêtes) dans Spark ? Savez-vous comment il fonctionne ?
Middle+
147