Co je to učení v kontextu a proč funguje?

Učení v kontextu je schopnost velkých jazykových modelů (LLM) učit se na základě příkladů předložených přímo v dotazu, aniž by bylo nutné dále aktualizovat váhy modelu. To znamená, že model obdrží několik příkladů úkolu přímo v textu dotazu a na jejich základě vygeneruje odpověď pro nový případ.

Proč to funguje:

• Model byl trénován na obrovském množství textů a příkladů, což mu umožňuje rozpoznávat vzory a vztahy mezi vstupními daty a odpověďmi.
• Poskytnutím příkladů v kontextu "rozumí", jaký úkol je třeba vyřešit, a přizpůsobí své chování.
• To je podobné podmíněnému programování: model používá kontext jako instrukci.

Příklad: pokud je v dotazu poskytnuto několik párů "otázka — odpověď", model bude pokračovat v sekvenci a odpoví na novou otázku ve stejném stylu.

Tímto způsobem umožňuje učení v kontextu využít sílu LLM bez dalšího tréninku, pouze změnou vstupních dat.