Nazorati fine-tuning (SFT) nima? Qaysi ma'lumotlar kerak?

Supervised fine-tuning (SFT) — bu oldindan o'qitilgan modelni (masalan, katta til modelini) belgilangan ma'lumotlar bilan qo'shimcha o'qitish jarayoni bo'lib, uni aniq vazifaga moslashtirish uchun amalga oshiriladi. Noldan o'qitishdan farqli o'laroq, SFT modelning mavjud bilimlarini foydalanadi va ularni aniqlashtiradi.

SFT uchun aniq kirishlar va mos keladigan to'g'ri chiqishlar (etiketlar) bilan ma'lumotlar kerak. Masalan, tasniflash vazifasi uchun — kategoriyali matnlar; javoblar yaratish uchun — savol-javob juftliklari. Bu ma'lumotlar modelga aniq misollarda istalgan natijani chiqarishni o'rganishga imkon beradi.

Misol: LLMni dialoglar to'plamida qo'shimcha o'qitish, bunda har bir savolga to'g'ri javob beriladi, shuning uchun chatbotda javoblar sifatini yaxshilash.