Data Engineer
Comment analyser de grands fichiers XML dans ZIP et les charger dans ClickHouse avec Python?
Comment restaurer le travail à partir d'une branche distante si vous obtenez un message d'erreur disant que la branche n'existe pas lorsque vous essayez de faire `git checkout hotfix/missing-footer`?
Qu'est-ce que YARN et à quoi sert-il?
AstonQuelle est la différence entre HDFS et les systèmes de fichiers distribués classiques?
AstonComment un fichier HDFS, par exemple Parquet, est-il lu — en entier ou en blocs?
AstonC'est en temps réel, comment l'intégrer entre Kafka et ClickHouse Spark ?
МВидеоComment fonctionnaient les fonctions analytiques (fonctions de fenêtre) ?
МВидеоParle-moi de toi — expérience professionnelle, pile technologique
СБЕРQuelles sont les limitations de l'utilisation des tables de hachage?
La traçabilité montre-t-elle uniquement les requêtes REST ou autre chose?
Quels opérateurs Airflow avez-vous utilisés ? Comment avez-vous interagi avec dbt via Airflow ?
En ce qui concerne la requête, nous pouvons voir ce qui se passe avec les données, y compris quels types de jointures — quels types de jointures pouvons-nous voir là-bas?
МВидеоQuelle est la différence entre UNION et UNION ALL ? Quelles conditions doivent être remplies ?
СБЕРQuels types de tables avez-vous utilisés dans Greenplum ? Dans quels cas utilisiez-vous heap, et dans quels cas Append-Optimized ?
Comment fonctionne la jointure Merge (connexion avec tri) ?
СБЕРQuels sont les avantages et inconvénients de l'ACID, à part la vitesse de lecture?
Pourquoi la requête suivante n'utilisera pas l'index si un index B-tree normal a été créé sur id dans la table records? select * from records where id % 2 = 0 - Pour id, un index de type GIN est nécessaire - Les index ne fonctionnent pas avec des expressions dans WHERE - % est une opération de comparaison, pas de filtrage - limit et offset sont obligatoires pour l'optimisation avec index - La requête accède à un champ numérique, pas à une chaîne de caractères
Produisez une liste de réservations coûteuses Question Comment pouvez-vous produire une liste de réservations le jour de [téléphone] qui coûteront au membre (ou invité) plus de 30 $? Rappelez-vous que les invités ont des coûts différents de ceux des membres (les coûts indiqués sont par créneau de demi-heure), et l'utilisateur invité a toujours l'ID 0. Incluez dans votre sortie le nom de l'installation, le nom du membre formaté en une seule colonne, et le coût. Triez par coût décroissant, et n'utilisez pas de sous-requêtes.
À quoi servent les index, quels sont leurs avantages et inconvénients?
Comment fonctionne la partition dans Hive et comment est-elle représentée physiquement dans le système de fichiers?
Aston