როგორ იძლევა SBERT ტიპის მოდელი ტრიპლეტ ლოსს?

SBERT (Sentence-BERT) მოდელი ტრიპლეტული დანაკარგის გამოყენებით სწავლება, რათა ისწავლოს წინადადებების წარმოდგენა ვექტორულ სივრცეში ისე, რომ მსგავსი მნიშვნელობის წინადადებები იყოს ახლოს ერთმანეთთან, განსხვავებული კი — შორს.

ტრიპლეტული დანაკარგი მუშაობს სამ მაგალითზე: ანკორი (anchor), დადებითი მაგალითი (positive), რომელიც მსგავსია ანკორის, და უარყოფითი მაგალითი (negative), რომელიც განსხვავებულია. მიზანია მინიმუმამდე დაიყვანოს ანკორის და დადებითი მაგალითის შორის მანძილი და მაქსიმუმამდე — ანკორის და უარყოფითი მაგალითის შორის, გარკვეული მარკაჟით.

სწავლება შემდეგი წესით მიმდინარეობს:

1. თითოეული ტრიპლეტისათვის SBERT-ის გამოყენებით გამოთვლილია ემბედინგები.
2. გამოთვლილია მანძილი (მაგ., კოსინუსი) ანკორის და დადებითი, და ანკორის და უარყოფითი შორის.
3. გამოითვლება ტრიპლეტული დანაკარგი: ( \max(0, d(ანკორი, დადებითი) - d(ანკორი, უარყოფითი) + მარკაჟი) ).
4. მოდელის პარამეტრები განახლდება გრადიენტული დაშვებით, რათა შემცირდეს დანაკარგი.

ამ გზით, მოდელი სწავლობს შექმნას ისეთი ემბედინგები, რომლებიც სასარგებლოა ტექსტების ძიებისა და შედარების დავალებებისთვის.