Эмбеддингҳои ELMo бо BERT чӣ фарқ доранд?

ELMo ва BERT моделҳои барои гирифтани вграждани контекстуалӣ мебошанд, аммо онҳо дар меъморӣ ва усули омӯзиш фарқ мекунанд.

• ELMo асос ёфтааст ба LSTM-ҳои ду самтӣ. Вурудҳоро бо дарназардошти контексти калима аз тарафи чап ва рост, аммо инро ба таври пайдарпай мекунад. Вграждандҳои ELMo як ҷамъбасти вазнёфтаи ҳолатҳои пинҳоншудаи LSTM мебошанд, ки имкон медиҳад сатҳҳои гуногуни абстраксияро дарбар гирад.

• BERT истифода мекунад трансформаторҳо бо механизмҳои диққат, ки имкон медиҳад тамоми контекстро самаранок як вақт ба назар гирад (на пайдарпай). BERT бо вазифаҳои маскаравии забон ва пешгӯии ҷумлаи оянда омӯзонида мешавад, ки фаҳмиши амиқтарини контекстро медиҳад.

Дар маҷмӯъ, BERT одатан вграждандҳои босифаттар медиҳад, вобастагиҳои мураккабро беҳтар дарк мекунад, дар ҳоле ки ELMo содда ва тезтар аст, аммо камтар қувватманд.

Масалан барои гирифтани вграждандҳои BERT (дар Python бо китобхонаи transformers):

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

text = "Масалан матни барои вгражданд"
inputs = tokenizer(text, return_tensors='pt')
outputs = model(**inputs)
embeddings = outputs.last_hidden_state  # вграждандҳо барои ҳар як токен