Mis on juhendatud peenhäälestus (SFT)? Milliseid andmeid on vaja?

Supervised fine-tuning (SFT) on protsess, kus eelnevalt treenitud mudeli (näiteks suur keelemudel) täiendavalt treenitakse märgitud andmetel, et seda kohandada konkreetse ülesande jaoks. Erinevalt nullist õppimisest kasutab SFT olemasolevaid teadmisi mudelist ja neid täpsustab.

SFT jaoks on vajalikud andmed selgete sisendite ja vastavate õigete väljunditega (märgised). Näiteks klassifikatsiooni ülesande jaoks — tekstid kategooriatega; vastuste genereerimiseks — küsimus-vastus paarid. Need andmed võimaldavad mudelil õppida andma soovitud tulemuse konkreetsetel näidetel.

Näide: LLM täiendav treenimine dialoogide kogumis, kus iga küsimus vastab õigesti, et parandada vestlusroboti vastuste kvaliteeti.