Čo je učenie v kontexte a prečo funguje?

Učenie v kontexte je schopnosť veľkých jazykových modelov (LLM) učiť sa na základe príkladov priamo v dopyte, bez ďalšieho aktualizovania váh modelu. To znamená, že model dostáva niekoľko príkladov úlohy priamo v texte dopytu a na základe nich generuje odpoveď pre nový prípad.

Prečo to funguje:

• Model bol trénovaný na obrovskom množstve textov a príkladov, čo mu umožňuje rozpoznávať vzory a vzťahy medzi vstupnými údajmi a odpoveďami.
• Poskytnutím príkladov v kontexte "rozumie", akú úlohu je potrebné vyriešiť, a prispôsobí svoje správanie.
• To je podobné podmienenej programovaniu: model používa kontext ako inštrukciu.

Príklad: ak v dopyte poskytneme niekoľko párov "otázka — odpoveď", model bude pokračovať v sekvencii a odpovie na novú otázku v rovnakom štýle.

Týmto spôsobom umožňuje učenie v kontexte využiť silu LLM bez ďalšieho tréningu, len zmenou vstupných údajov.