Data Engineer

Çözümlediğiniz çoğaltma yapılandırma görevi hakkında bilgi verin.

Hangi durumlarda normalizasyon uygulanır ve hangi durumlarda denormalizasyon?

Spark'ta veri önyargısını nasıl önleyip ortadan kaldırabilirsiniz?

Birden fazla indeks ekledikten sonra sorgu yine yavaşsa, hangi tanılama algoritması ve ne yapılmalı?

Normalizasyon ve ER modeli nedir, ne işe yararlar?

Kafka'nın temel kavramları hakkında bilgi verin (tüketici grubu, bölümler, konular).

Bir ilişkisel veritabanında sorgunun yavaş çalışmasının tipik nedenleri nelerdir?

Büyük tablolar yüklenirken (performans dışında) hangi belirgin olmayan sorunlar ortaya çıkabilir?

Postgres'ten Data Lake'e büyük bir tablonun düzenli olarak esnek (değiştirilebilir) güncelleme sıklığıyla artımlı yüklenmesi için bir çözüm önerin.

Pencere fonksiyonu içindeki sıralama ile sorgudaki FINAL sıralama ORDER BY nasıl ilişkilidir?

Giriş verisi hacmi değiştirildiğinde Spark uygulamasının kaynaklarını nasıl yönetirsiniz, böylece belleği aşmaz?

Coalesce ve repartition kullanarak bölümlerin nasıl çalışılır?

Hangi Docker imajlarını inşa ettiniz ve neden?

Coalesce/repartition dışında shuffle yönetimi için başka mekanizmalar var mı?

Okuma paralelliği için Spark JDBC'de hangi parametreler kullanıldı?