რა არის კონტექსტუალური ჩაშენებები? მიაწოდეთ მოდელების მაგალითები.

კონტექსტუალურ ჩაშენებებს წარმოადგენს სიტყვების ან ტოკენების ვექტორული წარმოდგენები, რომლებიც დამოკიდებულია იმ კონტექსტზე, სადაც ეს სიტყვები გამოიყენება. განსხვავებით სტატიკურ ჩაშენებებიდან (მაგ., Word2Vec ან GloVe), სადაც თითოეულ სიტყვას აქვს ფიქსირებული წარმოდგენა, კონტექსტუალურ ჩაშენებები იცვლება გარშემო ტექსტის მიხედვით, რაც უკეთესად ასახავს მრავალმნიშვნელოვნებას და სინტაქსის თვისებებს.

მოდელების მაგალითები, რომლებიც ქმნიან კონტექსტუალურ ჩაშენებებს:

• ELMo (Embeddings from Language Models) — იყენებს ორი მიმართულების LSTM-ებს კონტექსტზე დამოკიდებული ჩაშენებების შესაქმნელად.
• BERT (Bidirectional Encoder Representations from Transformers) — ტრანსფორმერი, რომელიც სწავლობს masked language-ის დავალებაზე და ქმნის ჩაშენებებს, რომლებიც იღებენ მხედველობაში მარცხენა და მარჯვენა კონტექსტს.
• GPT (Generative Pre-trained Transformer) — ავტოგრესიული მოდელი, რომელიც ქმნის ჩაშენებებს, წინამორბედ კონტექსტის გათვალისწინებით.

BERT-ის გამოყენების მაგალითი სიტყვას კონტექსტში ჩაშენების მისაღებად:

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

სიტყვა = "The bank will not approve the loan."
inputs = tokenizer(სიტყვა, return_tensors='pt')
outputs = model(**inputs)

# outputs.last_hidden_state შეიცავს კონტექსტზე დაფუძნებულ ჩაშენებებს
embeddings = outputs.last_hidden_state