Kas yra supervisuotas smulkus reguliavimas (SFT)? Kokius duomenis reikia?

Supervised fine-tuning (SFT) — tai procesas, kai iš anksto apmokytas modelis (pavyzdžiui, didelis kalbos modelis) papildomai treniruojamas su žymėtais duomenimis, kad būtų pritaikytas konkrečiam uždaviniui. Skirtingai nuo mokymosi nuo nulio, SFT naudoja jau esamas modelio žinias ir jas tobulina.

SFT reikalingi duomenys su aiškiais įėjimais ir atitinkančiais teisingais išėjimais (žymėmis). Pavyzdžiui, klasifikavimo uždaviniui — tekstai su kategorijomis; atsakymų generavimui — klausimo-atsakymo poros. Šie duomenys leidžia modeliui išmokti duoti norimą rezultatą konkrečiuose pavyzdžiuose.

Pavyzdys: papildomas LLM treniravimas dialogų rinkinyje, kur kiekvienam klausimui atitinka teisingas atsakymas, siekiant pagerinti chatbot atsakymų kokybę.