როდის არის შესაბამისი cross-encoder-ის გამოყენება და როდის bi-encoder-ის გამოყენება ძიებაში?

Cross-encoder და bi-encoder ორი მიდგომაა ტექსტების წყვილის შესაბამისობის გამოთვლისთვის (მაგალითად, სვეტი და დოკუმენტი) ძიების დავალებებში.

Cross-encoder აერთიანებს ორ ტექსტს და ერთდროულად გადის მათ მოდელზე, რაც საშუალებას აძლევს გაითვალისწინოს ორივე ტექსტის სიტყვებს შორის ურთიერთქმედებები. ეს ჩვეულებრივ უფრო ზუსტ შეფასებებს იძლევა, მაგრამ საჭიროებს თითოეული წყვილისთვის ცალკე გამოთვლებს, რაც დროისა და რესურსების ხარჯია.

Bi-encoder კოდირებს თითოეულ ტექსტს ცალკე ფიქსირებული ზომის ვექტორად, შემდეგ კი შესაბამისობა გამოითვლება, მაგალითად, ვექტორებს შორის კოსაინუს მსგავსების სახით. ეს ბევრად უფრო სწრაფია, რადგან ყველა დოკუმენტი შეიძლება წინასწარ კოდირებული იყოს და სწრაფად შეადაროს სვეტთან.

როდის გამოიყენოს:

• Cross-encoder გამოიყენება, როდესაც მაქსიმალური სიზუსტე მნიშვნელოვანია და შესაძლებელია გამოთვალოთ შესაბამისობა შეზღუდული რაოდენობის წყვილებისთვის (მაგალითად, ტოპ-N კანდიდატების რეიტინგი).
• Bi-encoder სასარგებლოა მასშტაბური ძიებისთვის დიდი რაოდენობის დოკუმენტებში, სადაც სიჩქარე მნიშვნელოვანია, ხოლო სიზუსტე შეიძლება ცოტათი დაბალი იყოს.

ხშირად გამოიყენება ჰიბრიდული მიდგომა: პირველ რიგში bi-encoder-ის გამოყენება სწრაფი კანდიდატების შერჩევისთვის, შემდეგ კი cross-encoder-ის გამოყენება ზუსტი რეიტინგისთვის.