Kas ir uzraudzīts sīks regulējums (SFT)? Kādi dati ir nepieciešami?

Supervised fine-tuning (SFT) ir process, kurā iepriekš apmācīts modelis (piemēram, liels valodas modelis) tiek papildu apmācīts ar marķētiem datiem, lai to pielāgotu konkrētai uzdevumam. Atšķirībā no apmācības no nulles, SFT izmanto jau esošās modeļa zināšanas un tās uzlabo.

SFT nepieciešami dati ar skaidriem ievadiem un atbilstošiem pareiziem izejumiem (marķieriem). Piemēram, klasifikācijas uzdevumam — teksti ar kategorijām; atbilžu ģenerēšanai — jautājuma-atbildes pāri. Šie dati ļauj modelim mācīties sniegt vēlamo rezultātu konkrētos piemēros.

Piemērs: papildu apmācība LLM uz dialogu kopas, kur katram jautājumam atbilst pareiza atbilde, lai uzlabotu čatbota atbilžu kvalitāti.