Ushbu sxemada Trino ma'lumotlarni qayta ishlash uchun javobgar — texnologiyalar steki qanday qilib saqlash va hisoblashni ajratishga imkon beradi?
Data Engineer
Greenplumda ACID bajariladimi?
ClickHouse'da yozuvlarni o'chirish yoki o'zgartirishda qanday jarayonlar boshlanadi?
CTE va kichik so'rov o'rtasidagi farq nima?
Rust tilida yozilgan, ko'p ipli va juda tez ishlaydigan, Pandas o'rnini bosadigan kutubxonani bilasizmi?
So'rovni bosqichlarga qanday ajratamiz? Buning uchun nima qilamiz?
Ishlab chiqarishlar o'rtasidagi, DAGlar o'rtasidagi bog'liqliklar bilan — ularni bir-biridan keyin ishga tushirish uchun sensorlar ishlatdingizmi?
Parquet ga ma'lumotlarni yuklash uchun qanday texnologiyalar ishlatildi va ma'lumotlarni olish va yuklash uchun qanday mexanizmlar ishlatildi?
Airflow DAG va ishlarni qanday yozding — qo'lda yoki shablonlar bilanmi?
Siz Spark'dan S3 ga Parquet formatida ma'lumotlarni yukladingizmi va keyin Parquet dan Greenplum ga — yuklash jarayoni qanday o'tadi?
Ma'lumotlar bazasining sxemasini qanday tuzardingiz — to'g'ridan-to'g'ri bazada qo'lda yoki skriptlarni bir joyda saqlardingizmi, yoki Liquibase'dan foydalanardingizmi, jarayon qanday edi?
Git bilan ishladizmi? Gitda nima saqlardingiz?
Streaming bilan Iceberg ishlayapti, eshitdingmi? Bu fayl saqlash joyi axlat.
Tashqi jadvaldagi ma'lumotlar qanday qilib maqsad jadvalariga yuklandi?
Bu real vaqt, Kafka va ClickHouse Spark o'rtasida qanday amalga oshirish mumkin?
So'rovda faqat bir marta ishlatilsa, CTE ni ishlatish ma'nolimi?
Spark bilan to'g'ridan-to'g'ri ishlashga majbur bo'ldingizmi? Uning kamchiligi nima?
Bizga juda tez ishlash imkonini beradigan pipeline motoriga ehtiyojimiz bor — bu mexanizm, kontraktlar va parametrlarni kirish sifatida taqdim etish orqali juda tez oqimlarni yaratishga imkon beradi. Buni yuqori darajada qanday amalga oshirasiz?
JSON ni tahlil qilamiz — JSON ni kim tahlil qiladi? Mening bilishimcha, ClickHouse da funksiyalar yo'q.
Iceberg — bu S3 ni bazaga aylantirish imkonini beradigan motor, hatto ACID ga ham rioya qiladi. Uning kamchiligi nima?