Sobes.tech

Data Engineer

ClickHouse-də qeydiyyatları silərkən və ya dəyişdirərkən hansı proseslər başlayır?

187

Data Vault rahat bir vasitədir, amma çox obyekt olur. Hublar, linklər və satelitlər arasındakı fərqi izah edə bilərsənmi?

187

Rust dilində yazılmış, çox ipli və çox sürətli olan, Pandas-ı əvəz edə biləcək bir kitabxana tanıyırsan?

184

CTE ilə alt sorğu arasındakı fərq nədir?

183

Sorğunu mərhələlərə necə bölürük? Bunun üçün nə edirik?

180

Parquet-ə məlumatların yüklənməsi üçün hansı texnologiyalardan istifadə etdiniz və məlumatları alma və yükləmək üçün hansı mexanizmlər istifadə olundu?

178

Spark-dan S3-ə Parquet formatında məlumat yüklədinizmi və sonra Parquet-dən Greenplum-a — yükləmə prosesi necə baş verir?

175

Xarici cədvəldən məlumatlar necə hədəf cədvəllərə yükləndi?

175

Airflow DAG və işləri necə yazdın — əl ilə və ya şablonlar iləmi?

175

Axınla işləyirdi, eşitmisən? Bu fayl saxlama zibildir.

173

Git ilə işlədinizmi? Git-də nə saxlayırdınız?

172

İşlər arasında asılılıqlar, DAG-lər arasında — sensorlardan istifadə etdinizmi ki, onlar ardıcıl olaraq bir neçə işi başlasın?

171

Verilənlər bazasının sxeməsini necə tərtib edirdiniz — birbaşa bazada əl iləmi edirdiniz, yoxsa skriptləri harasa saxlayırdınız, yoxsa ümumiyyətlə Liquibase istifadə edirdiniz, proses necə idi?

171

Bu real vaxtdır, Kafka və ClickHouse Spark arasında necə həyata keçirmək olar?

170

Sorğuda yalnız bir dəfə istifadə olunursa, CTE istifadə etməyin mənası varmı?

169

JSON-u parse edəcəyik — JSON-u kim parse edəcək? Bildiyim qədər, ClickHouse-də funksiyalar yoxdur.

166

Spark ilə birbaşa işlədinizmi? Onun mənfi tərəfi nədir?

165

Bizə çox sürətli axınlar yaratmağa imkan verən pipeline mühərriki lazımdır — bu mexanizm müqavilələr və parametrlər daxil edilərək çox sürətli axınlar yaratmağa imkan verir. Bunu yuxarı səviyyədə necə həyata keçirərdin?

161

Iceberg, S3-dən verilənlər bazası yaratmağa imkan verən bir mühərrikdir, hətta ACID-ə də riayət edir. Onun mənfi tərəfi nədir?

159
/3