Kuidas treenitakse embeddings raske negatiivide ülesande jaoks?

Karmide negatiivide kasutamisega embeddingute koolitamine tähendab, et koolitusprotsessis õpib mudel mitte ainult lähedale viima positiivseid paare (näiteks päring ja asjakohane dokument), vaid ka aktiivselt eristama keerulisi negatiivseid näiteid, mis on väga sarnased positiivsetega.

Protsess hõlmab tavaliselt:

1. Positiivsete näidete ja raske negatiivsete partii koostamist — negatiivseid, mida mudel valesti sarnasena arvab.
2. Spetsiaalsete kaotuste funktsioonide kasutamist, näiteks triplet loss või contrastive loss, mis vähendavad positiivsete paaride vahelist kaugust ja suurendavad raske negatiivsete vahelist kaugust.
3. Raske negatiivsete iteratiivset valimist — neid saab dünaamiliselt valida koolituse ajal, näiteks kasutades olemasolevat mudelit kõige 'petturlikumate' negatiivsete leidmiseks.

See aitab mudelil paremini eristada peeneid erinevusi ning parandab otsingu või sobivuse kvaliteeti NLP ülesannetes.