Sobes.tech

Data Engineer

Érvényesül az ACID a Greenplum-ban?

189

A Data Vault egy kényelmes eszköz, de sok objektum van. Meg tudnád magyarázni a különbséget a hubok, linkek és szatelitek között?

189

Milyen folyamatok indulnak el, amikor törlünk vagy módosítunk rekordokat a ClickHouse-ban?

187

Hogyan bontjuk szakaszokra a kérdést? Mit teszünk ezért?

184

Ismersz olyan Rustban írt, több szálon futó, nagyon gyors könyvtárat, ami helyettesítheti a Pandas-t Data Science és Big Data esetén?

184

Mi a különbség a CTE és az al-lekérdezés között?

183

Milyen technológiákat használtál az adatok Parquet-be töltéséhez, és milyen mechanizmusokat használtak az adatok beszerzéséhez és betöltéséhez?

182

Töltöttél adatokat Sparkból S3-be Parquet formátumban, majd Parquetből Greenplumba — hogyan zajlik a betöltési folyamat?

181

Függőségekkel a munkák között, DAG-ok között — használtál szenzorokat, hogy egymás után több munkát indítsanak?

181

Dolgozott már Git-tel? Mit tárolt Git-ben?

178

Hogyan szoktad megtervezni az adatbázis sémáját — kézzel a adatbázisban, vagy tároltad a szkripteket valahol, vagy egyáltalán a Liquibase-t használtad, mi volt a folyamat?

177

A streaminggel működött az Iceberg, hallottad? Ez egy szemét fájltároló.

177

Hogyan töltötték be a külső táblából származó adatokat a cél táblákba?

176

Hogyan írtad az Airflow DAG-ot és a feladatokat: kézzel vagy sablonokkal?

176

Ér-e értelme CTE-t használni, ha csak egyszer használják a lekérdezésben?

171

Ez valós idejű, hogyan valósítsuk meg a Kafka és a ClickHouse Spark között?

170

Közvetlenül a Spark-kal dolgozott? Mi a hátránya?

169

Szükségünk van egy pipeline motorra — egy mechanizmusra, amely lehetővé teszi nagyon gyors folyamatok létrehozását szerződések és paraméterek bemenetével. Hogyan valósítanád ezt magasabb szinten?

167

JSON-t fogunk parse-olni — ki fogja parse-olni a JSON-t? Tudomásom szerint a ClickHouse-ban nincsenek függvények.

166

Az Iceberg egy olyan motor, amely lehetővé teszi az S3 adatbázissá alakítását, még az ACID-et is betartja. Mi a hátránya?

163
/3