Šta je JEPA i koja je ideja zajedničkog predviđanja embedova?

JEPA (Joint Embedding Predictive Architecture) je pristup u dubokim neuronskim mrežama koji se fokusira na zajedničku predviđanje ugradnji (vektorskih prikaza) različitih delova podataka.

Ideja zajedničkog predviđanja ugradnji je obučiti model da predviđa prikaz jednog dela podataka na osnovu drugog, što pomaže u otkrivanju skrivenih zavisnosti i poboljšava kvalitet prikaza bez eksplicitnih oznaka.

Na primer, u obradi slika, model može naučiti da predviđa ugradnju jednog dela slike na osnovu ugradnje drugog dela, što doprinosi boljem razumevanju strukture i konteksta.

Ovaj pristup je koristan za učenje bez nadzora (self-supervised learning), gde se model uči na osnovu unutrašnjih odnosa unutar podataka, a ne na osnovu oznaka.