Mis on kontekstipõhine õppimine ja miks see töötab?

Kontekstiõpe on suurte keelemudelite (LLM) võime õppida näidetest, mis on esitatud otse päringus, ilma mudeli kaalude täiendava uuendamiseta. Teisisõnu, mudel saab mitu näidet ülesande kohta otse päringu tekstis ja nende põhjal genereerib vastuse uuele juhtumile.

Miks see töötab:

• Mudel on treenitud tohutul hulgal tekste ja näiteid, mis võimaldab tal ära tunda mustreid ja seoseid sisendandmete ja vastuste vahel.
• Näidete andmine kontekstis "mõistab" mudel, millise ülesande tuleb lahendada, ja kohandab oma käitumist vastavalt.
• See on sarnane tingimuslikule programmeerimisele: mudel kasutab konteksti juhisena.

Näide: kui päringus antakse mitu "küsimus — vastus" paari, jätkab mudel järjestust ja vastab uuele küsimusele samas stiilis.

Sellisel viisil võimaldab kontekstisõpe kasutada LLM-i jõudu ilma täiendava koolituseta, lihtsalt muutes sisendandmeid.