Data Engineer
Какво е тригерът за създаване на нов Job в Spark и как се дели Job-ът на Stages и Tasks?
Имали ли сте опит в писането на документация?
Моля, разкажи ми за опита ти през последната година: какъв екип, какви задачи, каква роля и коя беше най-интересната задача.
Как да осигурим глобалната уникалност на първичния ключ в PostgreSQL при шардване?
Как работи Nested Loop Join и каква е неговата алгоритмична сложност? Каква е сложността на трите алгоритъма?
Разкажи за нивото си на Python: какво си използвал, колко добре познаваш ООП
Какви са характеристиките и разликите между Set и List в Python? Освен производителността, какви други характеристики има?
Как да открием изкривяване на данните (data skew) в Spark?
Какво се случваше, когато се активираше ограничението за качество на данните: предупреждение, срив, рестарт?
SELECT client_id, ФИО, SUM(suma) AS total_amount FROM clients JOIN transactions ON clients.client_id = transactions.client_id WHERE дата = '2025-05-01' GROUP BY client_id, ФИО;
Как обикновено проектираш схемата на базата данни — правиш го ръчно в базата, или съхраняваш скриптовете някъде, или изобщо използваш Liquibase? Какъв беше процесът?
Разкажи за себе си: с какво се занимаваше, какъв стек използва и какъв беше проектът?
Какъв е твоят опит и разбиране в изграждането на пайплайни за изчисляване на витрини (обработка на данни)?
Представете си, че Data Vault не е наличен и има две широки таблици, които трябва да се свържат. Как бихте оптимизирали това в Greenplum? А ако беше в ClickHouse?
На кои технологии е построен вашият lakehouse и какви проблеми възникват при работа с Apache Iceberg?
Кой физически механизъм за JOIN ще бъде използван при съединяване на таблицата с транзакции с таблицата с календар по условие за неравенство (дата <= дата)?
Какво се случва физически при INSERT, UPDATE и DELETE в Greenplum; защо след DELETE мястото на диска не се освобождава и каква е разликата между DELETE и TRUNCATE?
Как може да се управлява shuffle в Spark (разделяне, broadcast join и т.н.)?
Какви инструменти за проследяване са използвали? В Spring Boot 2 и Spring Boot 3?
Разкажете за най-трудната или най-интересната задача, която сте трябвало да решите