Ինչպես է BERT-ը ներկայացնում ելքային տվյալները?

BERT (Երկկողմանի Էնկոդերների Տեղեկատվություններ Թրանսֆորմատորներից) արտածումային տվյալները ներկայացնում է տենսորների տեսքով, որոնք կարելի է մեկնաբանել երկու մակարդակով:

1. Token-ների ներդրումներ: յուրաքանչյուր մուտքային token-ի համար (գումար կամ ենթագումար), BERT-ը տրամադրում է ֆիքսված չափի վեկտոր (հաճախ 768 կամ 1024, մոդելի վրա կախված): Այս վեկտորները պարունակում են կոնտեքստային տեղեկություններ՝ հաշվի առնելով շրջակա բառերը երկու կողմերից:

2. Pooling վեկտոր [CLS]: հատուկ [CLS] token-ը, որը ավելացվում է հաջորդականության սկզբին, մոդելի միջոցով մշակվելուց հետո, արտադրում է վեկտոր, որը հաճախ օգտագործվում է ամբողջ նախադասության կամ տեքստի դասակարգման խնդիրների համար:

Օրինակ, Hugging Face Transformers գրադարանի օգտագործման դեպքում, մոդելի ելքը սովորաբար պարունակում է.

outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state  # tensor (խումբ, հաջորդականության երկարություն, թաքնված չափը)
pooler_output = outputs.pooler_output  # tensor (խումբ, թաքնված չափը), համապատասխան [CLS]

Այսպիսով, BERT-ի ելքային տվյալները՝ դա կոնտեքստային ներդրումների հավաքածու է յուրաքանչյուր token-ի համար և հավաքագրված վեկտոր ամբողջ հաջորդականության համար։