Sobes.tech

Data Engineer

Welke processen worden gestart wanneer we records verwijderen of wijzigen in ClickHouse?

187

Data Vault is een handig hulpmiddel, maar er zijn veel objecten. Kun je het verschil uitleggen tussen hubs, links en satellieten?

187

Kun je uitleggen wat we hier uiteindelijk zullen krijgen? Elk stappen moet worden toegelicht, hoe dit werkt.

186

Ken je een multithreaded, zeer snelle bibliotheek in Rust die Pandas kan vervangen voor Data Science en Big Data?

184

Wat is het verschil tussen een CTE en een subquery?

183

Hoe verdeel je een verzoek in fasen? Wat doen we daarvoor?

180

Welke technologieën heb je gebruikt om gegevens in Parquet te laden, en welke mechanismen werden gebruikt om gegevens te verkrijgen en te laden?

178

Heeft u gegevens van Spark naar S3 in Parquet-formaat geladen, en vervolgens van Parquet naar Greenplum — hoe verloopt het laadproces?

175

Hoe heb je de Airflow DAG en jobs geschreven: handmatig of met sjablonen?

175

Hoe werden de gegevens uit de externe tabel geladen in de doel tabellen?

175

Met streaming werkte Iceberg, hoorde je? Het is een rommelige bestandsopslag.

173

Heb je met Git gewerkt? Wat bewaarde je in Git?

172

Met afhankelijkheden tussen jobs, tussen DAGs — gebruikte u sensoren zodat ze achter elkaar meerdere jobs konden starten?

171

Hoe maakte je meestal het schema van de database — deed je dat handmatig in de database, bewaarde je de scripts ergens, of gebruikte je Liquibase? Wat was het proces?

171

Dit is in realtime, hoe implementeer je dit tussen Kafka en ClickHouse Spark?

170

Heeft het zin om een CTE te gebruiken als deze maar één keer in de query wordt gebruikt?

169

We gaan JSON parseren — wie gaat JSON parseren? Voor zover ik weet, zijn er geen functies in ClickHouse.

166

Heeft u direct met Spark gewerkt? Wat is het nadeel ervan?

165

We hebben een pipeline-engine nodig — een mechanisme dat het mogelijk maakt om zeer snel stroom te creëren door contracten en parameters aan te leveren. Hoe zou je dit op een hoger niveau implementeren?

161

Welke type lezen wordt gebruikt in Greenplum — rij- of kolomgebaseerd?

159
/3