BERT чӣ гуна маълумоти баромадро пешниҳод мекунад?

BERT (Тавсеҳзирали Кодекси Тасвирҳо аз Трансформаторҳо) маълумотҳои баромадро дар шакли тензорҳо намоиш медиҳад, ки онҳоро дар ду сатҳ метавон фаҳмид:

1. Эмбеддингҳои токен: барои ҳар як токени воридотӣ (калима ё подкалима), BERT векторе бо андозаи доимӣ (одатан 768 ё 1024, вобаста ба модел) медиҳад. Ин векторҳо маълумоти контекстӣ доранд, бо дарназардошти калимаҳои атроф дар ҳар ду тараф.

2. Вектори пуллинг [CLS]: токени махсус [CLS], ки ба оғози пайдарпай илова мешавад, пас аз коркарди модел, векторе медиҳад, ки одатан барои вазифаҳои класификатсияи тамоми ҷумла ё матн истифода мешавад.

Масалан, бо истифода аз китобхонаи Hugging Face Transformers, баромади модел одатан дорои:

outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state  # тензор (ҳажми партия, дарозии пайдарпай, андозаи пинҳон)
pooler_output = outputs.pooler_output  # тензор (ҳажми партия, андозаи пинҳон), мувофиқ ба [CLS]

Аз ин рӯ, маълумоти баромади BERT маҷмӯи эмбеддингҳои контекстӣ барои ҳар як токен ва векторе ҷамъбастӣ барои тамоми пайдарпай мебошад.