Data Engineer
Фарқи байни ROWS BETWEEN ва RANGE BETWEEN чист?
Чӣ гуна масъалаи ҳалли вақте ки равандҳои хондан метавонанд ҳолати миёна (ғайриустувор) дар ҷадвалро дар вақти ETL-и бисёрмарҳилавӣ (delete+insert) дар Iceberg бубинанд?
Ҳадди ниҳоӣ дар асоси схемаи Data Vault сохта шудааст — шумо ҳам онро таҳия кардед, нигоҳ доштед? Ҳавоҳо, пайвандҳоро дастӣ илова мекардед?
Омӯзиши сифатии маълумотҳоро шумо худ анҷом додед ё талаботҳо аз ҷониби бизнес/моликон омаданд?
Лутфан, ба мо гӯед, ки чаро ба ин вазифа таваҷҷӯҳ доред.
Дар кадом ҳолатҳо View-и Materialized дар ClickHouse метавонад маълумотҳоро гузарад ё баръакс, онҳоро такрор кунад?
Манзараи Materialized View чист ва чӣ гуна аз View одатан фарқ мекунад?
Нормализатсия ва денормализатсия чист, кай вақт лозим аст?
Як намунаи вазифаи одатии навиштани DAG дар Airflow.
Чӣ шуд ва чӣ гуна бояд корро барқарор кард?
ACID чист? Ҳарф ҳарф чӣ маъно дорад? Ин чӣ гуна ба муомилотҳо дахл дорад?
Ҳалномаи ниҳоиро дар бораи вақт ва хотира арзёбӣ кунед.
Чӣ қадар нақшаҳои ширкат барои сохтани системаи ҷамъоварӣ, стандартсозӣ ва таҳлили маълумотҳо воқеист?
Фарқияти байни EXPLAIN ANALYZE ва EXPLAIN одатан чист? Чаро онро дар дархостҳои DELETE/UPDATE иҷро кардан тавсия намедиҳанд?
Чӣ гуна одатан ба сохтани равандҳои ETL ва ELT муносибат мекунед? Ин равандҳо дар чӣ фарқ доранд?
Тавзеҳ диҳед дар бораи ҳисобҳои бефосила ва фаврии Spark.
Логистика компаниясы үчүн отчет Сиз логистика компаниясында аналитисиз, ал жерде сактагычтардагы операциялар катталат. Ар бир сактагычтын эффективдүүлүгү боюнча отчет түзүшүңүз керек. Ар бир сактагыч үчүн эсептеңіз: • жалпы операциялар саны (count_operations); • сактагычта иштелип чыккан жалпы товарлар саны (sum_quantity); • операциянын орточо иштетүү убактысы (avg_processing_time), тек белгиленген убакыт менен (NULL эмес), жакын санга чейинки жыйырма; • бир операцияда иштелип чыккан максимал жана минималдуу товарлар саны (max_quantity, min_quantity); • ар бир түрдөгү операциялардын саны («жеткирүү», «жөнөтүү», «көчүрүү») өзүнчө колонкаларда: supply_operations, shipment_operations, transfer_operations. Жалпы операциялар саны 2ден көп жана орточо иштетүү убактысы 60 мүнөттөн ашпаган сактагычтарды фильтрлөө. Натыйжаны сактагыч ID боюнча өсүүчү тартипте сорттоо. Кирүү форматы Операциялар таблицасы: • operation_id (int) — операциянын уникалдуу идентификатору • warehouse_id (int) — сактагыч ID • operation_type (text) — операциянын түрү: «жеткирүү», «жөнөтүү», «көчүрүү»
Дархости таҳлилии суст дар Hive буд. Чӣ гуна фаҳмидан, ки бо он чӣ шуд ва чӣ гуна ислоҳ кардан?
Мебошӣ бигӯӣ, ки дар ниҳоят ин ҷо чӣ ба даст меорем? Ҳар қадамаро шарҳ додан лозим аст, ки чӣ гуна кор мекунад.
Масалан, T1 (10 сатр) ва T2 (5 сатр) жадваллари мавжуд, иккаласида ҳам ID майдони бор. Бу жадвалларни INNER JOIN ва LEFT JOIN қилишда чиқишда максимал ва миним қанча сатр бўлиши мумкин?