Sobes.tech

Data Engineer

Ushbu sxemada Trino ma'lumotlarni qayta ishlash uchun javobgar — texnologiyalar steki qanday qilib saqlash va hisoblashni ajratishga imkon beradi?

192

ClickHouse'da yozuvlarni o'chirish yoki o'zgartirishda qanday jarayonlar boshlanadi?

187

CTE va kichik so'rov o'rtasidagi farq nima?

185

Rust tilida yozilgan, ko'p ipli va juda tez ishlaydigan, Pandas o'rnini bosadigan kutubxonani bilasizmi?

185

So'rovni bosqichlarga qanday ajratamiz? Buning uchun nima qilamiz?

184

Ishlab chiqarishlar o'rtasidagi, DAGlar o'rtasidagi bog'liqliklar bilan — ularni bir-biridan keyin ishga tushirish uchun sensorlar ishlatdingizmi?

183

Parquet ga ma'lumotlarni yuklash uchun qanday texnologiyalar ishlatildi va ma'lumotlarni olish va yuklash uchun qanday mexanizmlar ishlatildi?

182

Airflow DAG va ishlarni qanday yozding — qo'lda yoki shablonlar bilanmi?

182

Siz Spark'dan S3 ga Parquet formatida ma'lumotlarni yukladingizmi va keyin Parquet dan Greenplum ga — yuklash jarayoni qanday o'tadi?

181

Ma'lumotlar bazasining sxemasini qanday tuzardingiz — to'g'ridan-to'g'ri bazada qo'lda yoki skriptlarni bir joyda saqlardingizmi, yoki Liquibase'dan foydalanardingizmi, jarayon qanday edi?

181

Git bilan ishladizmi? Gitda nima saqlardingiz?

180

Streaming bilan Iceberg ishlayapti, eshitdingmi? Bu fayl saqlash joyi axlat.

179

Tashqi jadvaldagi ma'lumotlar qanday qilib maqsad jadvalariga yuklandi?

176

Bu real vaqt, Kafka va ClickHouse Spark o'rtasida qanday amalga oshirish mumkin?

172

So'rovda faqat bir marta ishlatilsa, CTE ni ishlatish ma'nolimi?

171

Spark bilan to'g'ridan-to'g'ri ishlashga majbur bo'ldingizmi? Uning kamchiligi nima?

169

Bizga juda tez ishlash imkonini beradigan pipeline motoriga ehtiyojimiz bor — bu mexanizm, kontraktlar va parametrlarni kirish sifatida taqdim etish orqali juda tez oqimlarni yaratishga imkon beradi. Buni yuqori darajada qanday amalga oshirasiz?

167

JSON ni tahlil qilamiz — JSON ni kim tahlil qiladi? Mening bilishimcha, ClickHouse da funksiyalar yo'q.

166

Iceberg — bu S3 ni bazaga aylantirish imkonini beradigan motor, hatto ACID ga ham rioya qiladi. Uning kamchiligi nima?

163
/3