BERT чыгуу маалыматтарын кандайча көрсөтөт?

BERT (Ике тараптуу энкодерлердин трансформаторлордон алынган өкүлдөрү) чыгуу маалыматтарын тензорлор түрүндө көрсөтөт, аларды эки деңгээлде түшүнүүгө болот:

1. Tokenдердин эмбеддүүлөрү: ар бир киргизүү токени (сөз же субсөз) үчүн BERT туруктуу өлчөмдөгү векторду (адатта 768 же 1024, моделге жараша) берет. Бул векторлор айлана-чөйрөдөгү сөздөрдү эске алуу менен контекстуалдык маалыматтарды камтыйт.

2. Pooling вектору [CLS]: атайын [CLS] токени, секвенциянын башына кошулат, модел аркылуу иштетилгени кийин, ал көбүнчө бүтүндөй сүйлөм же текстти классификациялоо үчүн колдонулган векторду чыгарат.

Мисалы, Hugging Face Transformers китепканасын колдонуп, моделдин чыгышы адатта төмөнкүлөрдү камтыйт:

outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state  # tensor (партиянын өлчөмү, секвенциянын узундугу, жашырын өлчөм)
pooler_output = outputs.pooler_output  # tensor (партиянын өлчөмү, жашырын өлчөм), [CLS] менен барабар

Ошентип, BERTтин чыгуу маалыматы — бул ар бир токен үчүн контекстуалдык эмбеддүүлөрдүн жыйындысы жана бүтүндөй секвенция үчүн агрегирленген вектор.