Kuidas esitab BERT väljundi andmeid?

BERT (Kahe suuna kodeerija esindused transformatoritest) esitab väljundandmed tensorite kujul, mida saab tõlgendada kahel tasandil:

1. Tokenite sisestused: iga sisendtokeni (sõna või alam-sõna) jaoks pakub BERT fikseeritud suurusega vektorit (tavaliselt 768 või 1024, sõltuvalt mudelist). Need vektorid sisaldavad kontekstuaalset teavet, arvestades ümbritsevaid sõnu mõlemal pool.

2. Pooling-vektor [CLS]: spetsiaalne [CLS] token, mis lisatakse järjestuse algusesse, pärast mudeli töötlemist genereerib vektori, mida sageli kasutatakse kogu lause või teksti klassifitseerimise ülesannetes.

Näiteks Hugging Face Transformers raamatukogu kasutamisel sisaldab mudeli väljund tavaliselt:

outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state  # tensor (partii suurus, järjestuse pikkus, varjatud suurus)
pooler_output = outputs.pooler_output  # tensor (partii suurus, varjatud suurus), vastab [CLS]-le

Seega on BERT-i väljundandmed kogum kontekstuaalseid embedde iga tokeni jaoks ja kokkuvõttev vektor kogu järjestuse jaoks.