Kas yra kontekstinis mokymasis ir kodėl jis veikia?

Konteksto mokymasis – tai didelių kalbos modelių (LLM) gebėjimas mokytis iš pavyzdžių, pateiktų pačioje užklausoje, be papildomo modelio svorių atnaujinimo. Kitaip tariant, modelis gauna keletą užduoties pavyzdžių tiesiogiai užklausos tekste ir, remdamasis jais, generuoja atsakymą naujam atvejui.

Kodėl tai veikia:

• Modelis buvo apmokytas naudojant didžiulį kiekį tekstų ir pavyzdžių, todėl jis gali atpažinti modelius ir ryšius tarp įvesties duomenų ir atsakymų.
• Pateikus pavyzdžių kontekste, modelis "supranta", kokią užduotį reikia išspręsti, ir pritaiko savo elgesį.
• Tai panašu į sąlyginius programavimus: modelis naudoja kontekstą kaip instrukciją.

Pavyzdys: jei užklausoje pateikiama keletas "klausimas — atsakymas" porų, modelis tęsia seką ir atsako į naują klausimą to paties stiliaus.

Taip, kontekstinis mokymasis leidžia išnaudoti LLM galias be papildomo mokymo, tiesiog keičiant įvesties duomenis.