Šta je Delta Lake / Iceberg / Hudi i zašto lakehouse?

Delta Lake, Apache Iceberg i Apache Hudi su otvoreni formati za skladištenje podataka i motori za upravljanje podacima za Data Lake, koji obezbeđuju pouzdanost, transakcionalnost i upravljanje verzijama podataka.

Glavne funkcije:

• Podrška za ACID transakcije u Data Lake.
• Upravljanje verzijama i mogućnost vraćanja promena.
• Optimizacija čitanja i pisanja velikih količina podataka.
• Podrška za inkrementalne nadogradnje i brisanje podataka.

Lakehouse je arhitektonski pristup koji kombinuje najbolje osobine Data Warehouse i Data Lake. Omogućava skladištenje strukturiranih i nestrukturiranih podataka na jednom mestu sa mogućnostima analitičke obrade i mašinskog učenja.

Zašto je potreban Lakehouse:

• Pojednostavljenje infrastrukture podataka.
• Poboljšanje kvaliteta i konzistentnosti podataka.
• Podrška za razne radne opterećenja (BI, ML, analiza).

Stoga, Delta Lake, Iceberg i Hudi su ključne tehnologije za implementaciju lakehouse-a, obezbeđujući pouzdano i efikasno skladištenje i obradu podataka na velikim skalama.