Как формируются instruction datasets для SFT?

Instruction datasets для Supervised Fine-Tuning (SFT) формируются на основе пар «инструкция — ответ», где инструкция задаёт задачу или запрос, а ответ — желаемое поведение модели.

Процесс формирования включает:

1. Сбор данных: собираются разнообразные инструкции, отражающие задачи, которые модель должна уметь решать.
2. Подготовка ответов: для каждой инструкции создаётся корректный, качественный ответ, часто вручную или с помощью экспертов.
3. Форматирование: данные структурируются в формате, удобном для обучения, например JSON с полями instruction, input (если есть), output.
4. Аугментация и фильтрация: данные могут дополняться, очищаться от шумов и некачественных примеров.

Пример записи для SFT:

{
  "instruction": "Переведи текст на английский",
  "input": "Привет, как дела?",
  "output": "Hello, how are you?"
}

Таким образом, instruction datasets обеспечивают модель конкретными задачами и правильными ответами для обучения её желаемому поведению.