როგორ წარმოადგენს BERT გამოსავალ მონაცემებს?

BERT (ორ მიმართულების კოდირების მიმღებები ტრანსფორმატორებიდან) გამოსვლის მონაცემებს წარმოადგენს ტენზორების სახით, რომლებიც შეიძლება ორი დონეზე იქნას ინტერპრეტირებული:

1. Token-ების ემბედინგები: თითოეული შესვლის token-ისთვის (სიტყვა ან ქვესიტყვა) BERT უზრუნველყოფს ფიქსირებული ზომის ვექტორს (საშუალოდ 768 ან 1024, მოდელის მიხედვით). ამ ვექტორებში შედის კონტექსტუალური ინფორმაცია, რომელიც ითვალისწინებს მიმდებარე სიტყვებს ორივე მხრიდან.

2. Pooling ვექტორი [CLS]: სპეციალური [CLS] token, რომელიც ემატება სექვენსიის დასაწყისში, მოდელის დამუშავების შემდეგ, წარმოქმნის ვექტორს, რომელიც ხშირად გამოიყენება მთელი წინადადების ან ტექსტის კლასიფიკაციის დავალებებისთვის.

მაგალითად, Hugging Face Transformers ბიბლიოთეკის გამოყენებისას, მოდელის გამოსავალი ჩვეულებრივ შეიცავს:

outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state  # tensor (პარტიის ზომა, სექვენსიის სიგრძე, დამალული ზომა)
pooler_output = outputs.pooler_output  # tensor (პარტიის ზომა, დამალული ზომა), შესაბამისი [CLS]

ამიტომ, BERT-ის გამოსვლის მონაცემები არის კონტექსტუალური ემბედინგების ნაკრები თითოეულ token-ისთვის და აგრეგირებული ვექტორი მთელი სექვენსიისთვის.