Kas ir konteksta mācīšanās un kāpēc tā darbojas?

Konteksta mācīšanās ir lielu valodu modeļu (LLM) spēja mācīties no piemēriem, kas ir tieši sniegti paša pieprasījuma tekstā, bez papildu modeļa svaru atjaunināšanas. Tas nozīmē, ka modelis tieši pieprasījuma tekstā saņem vairākus piemērus uzdevumam un, balstoties uz tiem, ģenerē atbildi jaunam gadījumam.

Kāpēc tas darbojas:

• Modelis ir apmācīts uz milzīga teksta un piemēru daudzuma, kas ļauj tam atpazīt modeļus un saistības starp ievades datiem un atbildēm.
• Sniedzot piemērus kontekstā, modelis "saprot", kādu uzdevumu ir jāatrisina, un pielāgo savu uzvedību.
• Tas ir līdzīgs nosacījuma programmēšanai: modelis izmanto kontekstu kā instrukciju.

Piemērs: ja pieprasījumā ir sniegtas vairākas "jautājums — atbilde" pāru, modelis turpina secību un atbild uz jaunu jautājumu tajā pašā stilā.

Tādējādi, konteksta mācīšanās ļauj izmantot LLM spēku bez papildu apmācības, vienkārši mainot ievades datus.