Mi az in-context tanulás és miért működik?

A kontextusban történő tanulás az a képesség, hogy nagy nyelvi modellek (LLM) a modell súlyainak további frissítése nélkül tanuljanak a kérdésben bemutatott példákból. Vagyis a modell több példát kap közvetlenül a kérdés szövegében, és ezek alapján generál választ egy új esethez.

Miért működik:

• A modellt hatalmas mennyiségű szöveg és példa alapján tanították, ami lehetővé teszi számára, hogy felismerje a mintákat és a kapcsolatokat a bemeneti adatok és a válaszok között.
• Példák megadása a kontextusban "megérti", mely feladatot kell megoldani, és ennek megfelelően igazítja viselkedését.
• Ez hasonlít a feltételes programozáshoz: a modell a kontextust utasításként használja.

Példa: ha a kérdésben több "kérdés — válasz" párt adnak meg, a modell folytatja a sorozatot, és ugyanabban a stílusban válaszol egy új kérdésre.

Így a kontextusban történő tanulás lehetővé teszi a LLM-ek erejének kihasználását további tanítás nélkül, csupán a bemeneti adatok módosításával.