JEPA nədir və birgə proqnozlaşdırma fikri nədir?

JEPA (Joint Embedding Predictive Architecture) dərin neyron şəbəkələrində yanaşmadır və müxtəlif məlumat hissələrinin birgə proqnozlaşdırılmasına yönəlib.

Birgə proqnozlaşdırma ideyası modelin məlumatın bir hissəsinin təsvirini digər hissədən proqnozlaşdırmağa öyrədilməsidir, bu isə gizli asılılıqları aşkar etməyə və təqdimatların keyfiyyətini artırmağa kömək edir.

Məsələn, şəkil işlənməsində model bir hissənin embeddingini digər hissənin embeddinginə əsaslanaraq proqnozlaşdırmağı öyrənə bilər, bu isə struktur və konteksti daha yaxşı başa düşməyə kömək edir.

Bu yanaşma öz-özünü nəzarət edən öyrənmə üçün faydalıdır, burada model məlumatların daxili əlaqələrindən öyrənir, etiketlərdən yox.