Mi az a felügyelt finomhangolás (SFT)? Milyen adatok szükségesek?

Az ellenőrzött finomhangolás (SFT) egy olyan folyamat, amely során egy előzetesen betanított modellt (például egy nagy nyelvi modellt) címkézett adatokon tovább tanítanak, hogy egy adott feladathoz igazítsák. A nulláról való tanulással szemben az SFT a modell már meglévő tudását használja fel, és finomhangolja azt.

Az SFT-hez világos bemenetekkel és megfelelő helyes kimenetekkel (címkékkel) ellátott adatok szükségesek. Például, egy osztályozási feladathoz — szövegek kategóriákkal; válaszok generálásához — kérdés-válasz párok. Ezek az adatok lehetővé teszik a modell számára, hogy konkrét példákon megtanulja a kívánt eredményt.

Példa: egy LLM további tanítása egy dialógusokból álló készleten, ahol minden kérdéshez tartozik egy helyes válasz, hogy javítsa a chatbot válaszainak minőségét.