Šta je supervised fine-tuning (SFT)? Koji podaci su potrebni?

Nadzorovano fino podešavanje (SFT) je proces dodatnog treniranja unapred obučavanog modela (npr. velikog jezičkog modela) na označenim podacima s ciljem prilagođavanja na specifični zadatak. Za razliku od treniranja od nule, SFT koristi već postojeće znanje modela i ga usavršava.

Za SFT su potrebni podaci sa jasnim ulazima i odgovarajućim tačnim izlazima (etiketama). Na primer, za zadatak klasifikacije — tekstovi sa kategorijama; za generisanje odgovora — parovi pitanje-odgovor. Takvi podaci omogućavaju modelu da nauči da daje željeni rezultat na konkretnim primerima.

Primer: dodatno treniranje LLM na skupu dijaloga, gde svakom pitanju odgovara tačan odgovor, kako bi se poboljšao kvalitet odgovora u čatbota.