Ce este ajustarea fină supravegheată (SFT)? Ce date sunt necesare?

Finisajul supravegheat (SFT) este procesul de reantrenare a unui model pre-antrenat (de exemplu, un model mare de limbaj) pe date etichetate pentru a-l adapta la o sarcină specifică. Spre deosebire de antrenamentul de la zero, SFT utilizează cunoștințele existente ale modelului și le rafinează.

Pentru SFT, sunt necesare date cu intrări clare și ieșiri corecte corespunzătoare (etichetă). De exemplu, pentru o sarcină de clasificare — texte cu categorii; pentru generarea de răspunsuri — perechi între întrebare și răspuns. Astfel de date permit modelului să învețe să ofere rezultatul dorit pe exemple concrete.

Exemplu: reantrenarea unui LLM pe un set de dialoguri, unde fiecărei întrebări îi corespunde un răspuns corect, pentru a îmbunătăți calitatea răspunsurilor într-un chatbot.