Что такое in-context learning и почему он работает?

In-context learning — это способность больших языковых моделей (LLM) обучаться на примерах, представленых в самом запросе, без дополнительного обновления весов модели. То есть модель получает несколько примеров задачи прямо в тексте запроса и на их основе генерирует ответ для нового случая.

Почему это работает:

• Модель обучена на огромном количестве текстов и примеров, что позволяет ей распознавать паттерны и отношения между входными данными и ответами.
• При подаче примеров в контексте модель «понимает», какую задачу нужно решить, и адаптирует своё поведение под неё.
• Это похоже на условное программирование: модель использует контекст как инструкцию.

Пример: если в запросе дать несколько пар "вопрос — ответ", модель продолжит последовательность, отвечая на новый вопрос в том же стиле.

Таким образом, in-context learning позволяет использовать мощь LLM без дополнительного обучения, просто меняя входные данные.