Šta je učenje u kontekstu i zašto funkcioniše?

Učenje u kontekstu je sposobnost velikih jezičkih modela (LLM) da uče iz primera prikazanih u samom upitu, bez dodatnog ažuriranja težina modela. To znači da model direktno u tekstu upita prima nekoliko primera zadatka i na osnovu njih generiše odgovor za novi slučaj.

Zašto to funkcioniše:

• Model je treniran na ogromnoj količini tekstova i primera, što mu omogućava da prepoznaje obrasce i odnose između ulaznih podataka i odgovora.
• Pružanjem primera u kontekstu, model "razume" koji zadatak treba rešiti i prilagođava svoje ponašanje u skladu s tim.
• Ovo je slično uslovnom programiranju: model koristi kontekst kao instrukciju.

Primer: ako u upitu date nekoliko parova "pitanje — odgovor", model će nastaviti niz i odgovoriti na novo pitanje u istom stilu.

Na ovaj način, učenje u kontekstu omogućava iskorišćavanje moći LLM bez dodatnog treniranja, samo menjajući ulazne podatke.