Sobes.tech

Data Engineer

ClickHouse-те жазбаларды жою немесе өзгерткенде қандай процестер іске қосылады?

187

Data Vault — ыңғайлы нәрсе, бірақ объектілер көп болып кетеді. Хабтар, линктер және сателлиттер арасындағы айырмашылықты түсіндіре аласыз ба?

187

Ақырында мұнда не болатынын айтып бере аласыз ба? Әр қадамды түсіндіріп, қалай жұмыс істейтінін айтыңыз.

186

Сізде Data Science және үлкен деректерді өңдеу тәжірибесі бар — Rust тілінде жазылған, көп ағынды, Pandas-қа қарағанда өте жылдам кітапхана бар. Мұндай кітапханалар туралы білесіз бе?

184

CTE мен подзапрос арасындағы айырмашылық қандай?

183

Сұрауды кезеңдерге қалай бөлуге болады? Ол үшін не істейміз?

180

Parquet, сіз деректерді жүктедіңіз — деректерді қабылдау және жүктеу үшін қандай технологиялар қолданылды және қандай механизмдер пайдаланылды?

178

Сіз Spark-тан S3-ке Parquet форматында деректер жүктедіңіз, содан кейін Parquet-тен Greenplum-қа — жүктеу процесі қалай өтеді?

175

Airflow DAG-тарын және жұмыстарын қолмен жаздыңыз ба, әлде шаблондар арқылы ма?

175

Шетелдік кестеден деректер қалай мақсатты кестелерге жүктелді?

175

Streaming-пен жұмыс істейтін Iceberg-ті естідіңіз бе? Бұл файл сақтау орны — қоқыс.

173

Git-пен жұмыс істедіңіз бе? Git-те не сақтадыңыз?

172

Жұмыстар мен DAG-тар арасындағы тәуелділіктермен — бірнеше жұмысты бірінен соң бірін іске қосу үшін сенсорларды қолдандыңыз ба?

171

Дерекқор схемасын әдетте қалай жасайтын едің — тікелей дерекқорда қолмен бе, әлде сценарийлерді қайда сақтайтын едің, немесе мүлде Liquibase-те отырдың ба, қандай процесс болды?

171

Бұл нақты уақыт режимі, Kafka мен ClickHouse Spark арасында қалай қосылуды жүзеге асыру керек?

170

Егер CTE сұрауда бір рет қолданылса, оны қолданудың мағынасы бар ма?

169

JSON-ды біз парсимыз — JSON-ды кім парсит? ClickHouse-те функция жоқ, менің білуімше.

166

Spark-пен тікелей жұмыс істедіңіз бе? Оның кемшілігі неде?

165

Бізге pipeline engine керек — бұл механизм, ол арқылы келісімшарттар мен параметрлерді енгізу арқылы ағындарды өте тез құруға болады. Сен оны жоғарғы деңгейде қалай жүзеге асырар едің?

161

Greenplum қандай оқу түрін пайдаланады — жолдық немесе бағандық?

159
/3