Как бихте проектирали мащабируемо зареждане на данни от множество REST API: от събиране на данни до S3, с интерфейс за анализатор?
Senior
3
Data Engineer
743
0
Какво е процедурният SQL?
Middle
3
Разкажете ни за себе си и опита си в data engineering.
Senior
3
Има 101 обект: 100 нула и 1 едно. След сортиране по резултатите, първо идват 50 нула, след това едно, и още 50 нула. Какви са ROC AUC и формата на ROC кривата?
Middle+
3
Какви са недостатъците на индексите освен заетото място?
Middle
3
В градиентния бустинг вече е изградена композиция от N базови алгоритъма. Какво ще бъде целта за новия, N+1-ви алгоритъм?
Middle+
3
Защо мързеливите оценки са полезни?
Middle
3
Какво е spill на данни в Spark и как да го избегнете, ако не можете просто да добавите ресурси?
Middle
3
Как бихте се справили с трансформациите на данни с висок товар?
Middle
3
Как се различават режимите на стартиране на Spark: cluster, client и local?
Middle
3
Какви са предимствата и недостатъците на реализирането на API зареждач като персонализиран оператор/hook в Airflow в сравнение с отделна библиотека или контейнерна услуга?
Senior
3
2. Има таблица t, която изброява сумата на транзакциите на клиентите за ден: - Напишете заявка, която за всеки ред показва транзакциите на клиента за текущия и предходния календарен ден Крайната таблица е по-долу:
Middle
3
Какви са мързеливите оценки и как да ги разберем?
Middle
3
Какви типични задачи сте решили в Airflow?
Middle
3
Дата, поръчка номер, сума select date, sum(amount) as sum_amount from t group by date having sum(amount) > 1000000 order by sum_amount desc limit 3
Middle
3
Какви са звездните модели и Data Vault?
Middle
3
Разкажете ли за себе си: къде работихте последно, какво правихте, какво търсите и защо?
Middle+
2
Къде се намират Driver и Executors в режим на клъстер и защо се използва в производството?
Middle
2
Къде точно се появява градиентът в алгоритъма за градиентен бустинг, ако базовият алгоритъм е прост дървовиден модел?
Middle+
2
От какви компоненти се състои Greenplum и Hadoop HDFS?
Middle
2