Was ist kontextuelles Lernen und warum funktioniert es?

In-Kontext-Lernen ist die Fähigkeit großer Sprachmodelle (LLMs), anhand von Beispielen zu lernen, die in der Anfrage selbst präsentiert werden, ohne die Gewichte des Modells zusätzlich zu aktualisieren. Das heißt, das Modell erhält mehrere Beispiele für die Aufgabe direkt im Text der Anfrage und generiert auf deren Grundlage eine Antwort für einen neuen Fall.

Warum funktioniert das:

• Das Modell wurde auf einer riesigen Menge an Texten und Beispielen trainiert, was ihm ermöglicht, Muster und Zusammenhänge zwischen Eingabedaten und Antworten zu erkennen.
• Durch die Bereitstellung von Beispielen im Kontext "versteht" das Modell, welche Aufgabe gelöst werden soll, und passt sein Verhalten entsprechend an.
• Das ist ähnlich wie bedingte Programmierung: Das Modell nutzt den Kontext als Anweisung.

Beispiel: Wenn in der Anfrage mehrere Paare "Frage — Antwort" gegeben werden, setzt das Modell die Sequenz fort und antwortet auf eine neue Frage im gleichen Stil.

Auf diese Weise ermöglicht das In-Kontext-Lernen die Nutzung der Leistungsfähigkeit von LLMs ohne zusätzliche Schulung, indem einfach die Eingabedaten geändert werden.