Čo je supervised fine-tuning (SFT)? Aké údaje sú potrebné?

Supervised fine-tuning (SFT) je proces ďalšieho doladenia vopred natrénovaného modelu (napríklad veľkého jazykového modelu) na označených dátach s cieľom prispôsobiť ho konkrétnej úlohe. Na rozdiel od učenia od nuly, SFT využíva už existujúce znalosti modelu a ich spresňuje.

Pre SFT sú potrebné dáta s jasnými vstupmi a zodpovedajúcimi správnymi výstupmi (etiketami). Napríklad, pre úlohu klasifikácie — texty s kategóriami; pre generovanie odpovedí — páry otázka-odpoveď. Tieto dáta umožňujú modelu naučiť sa vydávať požadovaný výsledok na konkrétnych príkladoch.

Príklad: ďalšie doladenie LLM na súbore dialógov, kde každej otázke zodpovedá správna odpoveď, aby sa zlepšila kvalita odpovedí v chatbote.