Czym jest uczenie się w kontekście i dlaczego działa?

Uczenie się w kontekście to zdolność dużych modeli językowych (LLM) do nauki na podstawie przykładów przedstawionych w samej zapytaniu, bez dodatkowej aktualizacji wag modelu. Oznacza to, że model otrzymuje kilka przykładów zadania bezpośrednio w tekście zapytania i na ich podstawie generuje odpowiedź dla nowego przypadku.

Dlaczego to działa:

• Model został wytrenowany na ogromnej ilości tekstów i przykładów, co pozwala mu rozpoznawać wzorce i relacje między danymi wejściowymi a odpowiedziami.
• Podając przykłady w kontekście, model "rozumie", jakie zadanie ma rozwiązać, i dostosowuje swoje zachowanie.
• To przypomina programowanie warunkowe: model używa kontekstu jako instrukcji.

Przykład: jeśli w zapytaniu podano kilka par "pytanie — odpowiedź", model będzie kontynuował sekwencję, odpowiadając na nowe pytanie w tym samym stylu.

W ten sposób uczenie się w kontekście pozwala korzystać z mocy LLM bez dodatkowego szkolenia, po prostu zmieniając dane wejściowe.