Data Engineer

Qu'est-ce que VACUUM dans PostgreSQL ? À quoi sert-il ?

Comment résoudre un problème en temps linéaire O(n) en utilisant un dictionnaire ? Que doit-on stocker dans le dictionnaire pour ensuite assembler une chaîne triée ? Comment traiter les caractères qui ne sont pas dans l'ordre ?

Part de trafic des bots L'équipe antifraude a développé un mécanisme pour détecter le trafic des bots sur le site de la boutique : lorsqu'un bot accède au site, la sous-chaîne "bot" (sans tenir compte de la casse) est ajoutée aux paramètres de son URL. Si l'user_id a été identifié comme bot au moins une fois en décembre, il doit toujours être considéré comme bot. Étudiez le jeu de données des visites des utilisateurs sur le site et calculez la part des bots par rapport au nombre total d'utilisateurs en décembre 2024 (arrondi à un chiffre après la virgule). Format d'entrée Table visits: - event_date (date) — date de la visite - user_id (int) — identifiant unique de l'utilisateur - url (string) — lien par lequel la visite a été effectuée Les données ne contiennent pas de valeurs manquantes ou incorrectes. Format de sortie La requête doit retourner une table avec les champs: - share (float) — part des bots par rapport au total des utilisateurs en décembre, arrondée à un chiffre après la virgule.

Décrivez les méthodes d'optimisation des requêtes SQL que vous avez utilisées. Comment avez-vous réduit le temps d'exécution de 12-15 secondes?

Middle

Купер

Expliquez comment fonctionne techniquement Git LFS et quels avantages il offre par rapport à Git standard lors du travail avec de gros fichiers.

Qu'est-ce qu'une injection SQL?

Que faites-vous lorsque vous rencontrez un problème dans le pipeline de production?

Que sacrifie la base de datos lors du chargement rapide des données (COPY dans Postgres, BULK INSERT) ?

Qu'est-ce qu'un DAG dans Airflow, de quoi est-il composé et comment Airflow exécute-t-il un DAG?

Quelles sont vos attentes salariales?

Quels problèmes la traçabilité peut-elle révéler?

Qu'est-ce que l'idempotence dans un DAG/tâche dans Airflow?

Écrivez un DAG pour charger des données via l'API REST

Comment fonctionne la compression dans ClickHouse?

Parlez-moi de l'architecture du stockage : comment était-elle divisée en couches, quelles sont les caractéristiques de chaque couche ?

Greenplum appartient-il davantage au type OLTP ou OLAP?

Middle

МВидео

Comment restaurer le travail à partir d'une branche distante si vous obtenez un message d'erreur disant que la branche n'existe pas lorsque vous essayez de faire `git checkout hotfix/missing-footer`?

Comment une injection SQL peut-elle se produire via le champ de saisie de la date?

C'est en temps réel, comment l'intégrer entre Kafka et ClickHouse Spark ?

Middle

МВидео

Qu'est-ce que YARN et à quoi sert-il?

Middle

Aston