Kas ir Sentence-BERT (SBERT) un kādam tas tika izstrādāts?

Sentence-BERT (SBERT) — ir BERT modeļa modifikācija, kas īpaši izstrādāta, lai efektīvi un kvalitatīvi iegūtu visu teikumu vai teksta vektoru reprezentācijas (embeddings), nevis atsevišķu vārdu.

Parastais BERT labi darbojas ar atsevišķiem tokeniem, bet teikumu salīdzināšanai vai meklēšanai pēc nozīmes ir nepieciešama papildu apstrāde, kas var būt lēna un neefektīva. SBERT šo problēmu risina, apmācot modeli ģenerēt fiksētus teikumu vektorus, kurus var ātri salīdzināt, izmantojot kosinusa līdzību.

Tas ir īpaši noderīgi semantiskai meklēšanai, teksta klasterizācijai un teikumu līdzības noteikšanai.

Piemērs: vietā, lai salīdzinātu teikumus ar sarežģītiem aprēķiniem, izmantojot BERT, SBERT ļauj ātri atrast teikumus ar līdzīgu nozīmi lielā teksta korpusā.