Что такое supervised fine-tuning (SFT)? Какие данные нужны?

Supervised fine-tuning (SFT) — это процесс дообучения предварительно обученной модели (например, большой языковой модели) на размеченных данных с целью адаптации её под конкретную задачу. В отличие от обучения с нуля, SFT использует уже существующие знания модели и уточняет их.

Для SFT нужны данные с четкими входами и соответствующими правильными выходами (метками). Например, для задачи классификации — тексты с категориями, для генерации ответов — пары вопрос-ответ. Такие данные позволяют модели учиться выдавать желаемый результат на конкретных примерах.

Пример: дообучение LLM на наборе диалогов, где каждому вопросу соответствует правильный ответ, чтобы улучшить качество ответов в чат-боте.