Czym jest nadzorowane dostrajanie (SFT)? Jakie dane są potrzebne?

Supervised fine-tuning (SFT) — to proces dalszego dostrajania wstępnie wytrenowanego modelu (np. dużego modelu językowego) na oznaczonych danych w celu dostosowania go do konkretnego zadania. W przeciwieństwie do nauki od zera, SFT korzysta z już istniejącej wiedzy modelu i ją dopracowuje.

Do SFT potrzebne są dane z wyraźnymi wejściami i odpowiadającymi im poprawnymi wyjściami (etykietami). Na przykład, dla zadania klasyfikacji — teksty z kategoriami, dla generowania odpowiedzi — pary pytanie-odpowiedź. Takie dane pozwalają modelowi nauczyć się generować pożądany wynik na konkretnych przykładach.

Przykład: dalsze dostrajanie LLM na zestawie dialogów, gdzie każdemu pytaniu odpowiada poprawna odpowiedź, aby poprawić jakość odpowiedzi w chatbotcie.