Co je to supervised fine-tuning (SFT)? Jaká data jsou potřeba?

Supervised fine-tuning (SFT) je proces dodatečného tréninku předem natrénovaného modelu (například velkého jazykového modelu) na označených datech s cílem přizpůsobit jej konkrétnímu úkolu. Na rozdíl od tréninku od nuly SFT využívá již existující znalosti modelu a zpřesňuje je.

Pro SFT jsou potřeba data s jasnými vstupy a odpovídajícími správnými výstupy (etiketami). Například pro úlohu klasifikace — texty s kategoriemi; pro generování odpovědí — páry otázka-odpověď. Tato data umožňují modelu naučit se vydávat požadovaný výsledek na konkrétních příkladech.

Příklad: dodatečné trénování LLM na sadě dialogů, kde každá otázka má správnou odpověď, aby se zlepšila kvalita odpovědí v chatbotovi.