Какво е supervised fine-tuning (SFT)? Какви данни са необходими?

Надзиравано фино настройване (SFT) — това е процес на допълнително обучение на предварително обучен модел (например, голям езиков модел) върху маркирани данни с цел адаптиране към конкретна задача. За разлика от обучението от нулата, SFT използва вече съществуващите знания на модела и ги усъвършенства.

За SFT са необходими данни с ясни входове и съответстващи правилни изходи (етикети). Например, за задача за класификация — текстове с категории; за генериране на отговори — двойки въпрос-отговор. Тези данни позволяват на модела да научи да издава желаните резултати на конкретни примери.

Пример: допълнително обучение на LLM върху набор от диалози, където на всеки въпрос отговаря правилен отговор, за да се подобри качеството на отговорите в чатбот.