Data Engineer

Quels paramètres supplémentaires de DDL/CREATE TABLE dans ClickHouse connaissez-vous, à quoi ils influencent et dans quels cas sont-ils utilisés?

Comment les tables ont-elles été créées sur le cluster et comment avez-vous résolu le problème lorsqu'une réplica manquait sur un shard en raison de ZooKeeper?

Comment répartir de manière inégale les données de la vitrine sur trois shards : 50 % sur le premier et 25 % sur les deux autres ?

Comment exactement lisiez-vous Parquet?

Comment avez-vous résolu les problèmes d'optimisation lorsque la requête prend beaucoup de temps et effectue une analyse complète ? Comment aborderiez-vous une nouvelle tâche similaire ?

Dans quels cas une Vue Matérialisée dans ClickHouse peut-elle manquer des données ou, au contraire, les dupliquer?

Avez-vous déjà rencontré l'erreur ClickHouse `Too many parts` lors de l'insertion ? Comment l'avez-vous résolue ?

Avec quelles bibliothèques Python avez-vous travaillé?

Parlez-nous plus en détail du biais de données entre les shards : comment l'avez-vous déterminé et comment avez-vous utilisé la fonction/mécanisme correspondant ?

Connaissez-vous les UDF (Fonctions Définies par l'Utilisateur) dans ClickHouse, avez-vous travaillé avec elles?

Comment avez-vous corrigé le biais des données par client_id lorsque un client était nettement plus grand que les autres ? Quelles sont les options ?

Avec quels paramètres du moteur Distributed dans ClickHouse êtes-vous familier?

Comment procéderiez-vous avec la chaîne de Materialized View via une table intermédiaire ReplacingMergeTree pour remplir correctement les données existantes avant le lancement de la nouvelle MV?

Avec quelle version d'Airflow avez-vous travaillé?

Quels champs ont été utilisés pour la fusion des données et comment les doublons ont-ils été éliminés dans la vitrine?

Comment organiser le chargement des données dans ClickHouse pour une grande table PostgreSQL, dans laquelle de nouvelles entrées avec une clé primaire monotoniquement croissante arrivent constamment?

Connaissez-vous ReplicatedQueue ? Avez-vous déjà travaillé avec elle ?