Как представя BERT изходните данни?

BERT (Bidirectional Encoder Representations from Transformers) представя изходните данни под формата на тензори, които могат да бъдат интерпретирани на два нива:

1. Token embeddings: за всеки входен токен (дума или поддума) BERT предоставя вектор с фиксирана големина (обикновено 768 или 1024 в зависимост от модела). Тези вектори съдържат контекстуална информация, като вземат предвид околните думи от двете страни.

2. Pooling вектор [CLS]: специален токен [CLS], добавен в началото на последователността, след обработка от модела, произвежда вектор, който често се използва за задачи по класификация на цялото изречение или текст.

Например, при използване на библиотеката Hugging Face Transformers, изходът на модела обикновено съдържа:

outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state  # тензор (размер на партидата, дължина на последователността, скрит размер)
pooler_output = outputs.pooler_output  # тензор (размер на партидата, скрит размер), съответстващ на [CLS]

Следователно, изходните данни на BERT са набор от контекстуални embeddings за всеки токен и агрегиращ вектор за цялата последователност.