რა არის ზედამხედველობითი ფინეტუნინგი (SFT)? რა მონაცემები სჭირდება?

ზედამხედველობითი ზუსტება (SFT) — ეს არის პროცესის დამატებითი ტრენინგი წინასწარ გაწვრთნილ მოდელზე (მაგალითად, დიდ ენოვან მოდელზე) მონიშნული მონაცემებით, რათა ის კონკრეტულ დავალებაზე ადაპტირდეს. განსხვავებით ნულიდან სწავლებისგან, SFT იყენებს უკვე არსებული ცოდნას მოდელის და ამსხვილებს მას.

SFT-ისთვის საჭიროა მონაცემები მკაფიო შესვლებით და შესაბამისი სწორი გამოსვლებით (ტეგებით). მაგალითად, კლასიფიკაციის დავალებისთვის — ტექსტები კატეგორიებით; პასუხების გენერაციისთვის — კითხვა-პასუხის წყვილები. ეს მონაცემები საშუალებას აძლევს მოდელს ისწავლოს სასურველი შედეგის მიწოდება კონკრეტულ მაგალითებზე.

მაგალითი: LLM-ის დამატებითი ტრენინგი დიალოგების ნაკრებზე, სადაც თითოეულ კითხვას პასუხობს სწორი პასუხი, რათა გაუმჯობესდეს ჩატბოტის პასუხების ხარისხი.