Ce este învățarea în context și de ce funcționează?

Învățarea în context este capacitatea modelelor mari de limbaj (LLM) de a învăța din exemple prezentate în însăși solicitare, fără actualizarea suplimentară a ponderilor modelului. Adică, modelul primește mai multe exemple ale sarcinii direct în textul solicitării și, pe baza acestora, generează un răspuns pentru un caz nou.

De ce funcționează:

• Modelul a fost antrenat pe o cantitate imensă de texte și exemple, ceea ce îi permite să recunoască modele și relații între datele de intrare și răspunsuri.
• Prin furnizarea de exemple în context, modelul "înțelege" ce sarcină trebuie rezolvată și își adaptează comportamentul în consecință.
• Acest lucru este similar cu programarea condițională: modelul folosește contextul ca instrucțiune.

Exemplu: dacă în solicitare sunt date mai multe perechi "întrebare — răspuns", modelul va continua secvența și va răspunde la o întrebare nouă în același stil.

Astfel, învățarea în context permite utilizarea puterii LLM-urilor fără antrenament suplimentar, doar schimbând datele de intrare.