Middle — Senior

Kako fino podešavati BERT za zadatak klasifikacije? Šta uzeti iz izlaza?

sobes.tech АИ

Одговор од АИ

Za finetuning BERT za zadatke klasifikacije, obično se uzima izlaz iz posebnog tokena [CLS], koji model koristi za agregaciju informacija o celokupnoj sekvenci.

Glavni koraci:

Dodajte sloj za klasifikaciju iznad BERT — obično linearn sloj koji prima vektor iz poslednjeg sloja BERT-a koji odgovara tokenu [CLS].
Ulazni podaci se unose u BERT sa tokenom [CLS] na početku.
Izvucite embedding [CLS] iz poslednjeg skrivenog sloja BERT-a. Ovaj vektor, na primer, dimenzija 768 (za osnovni model), sadrži sažetu informaciju o celokupnoj sekvenci.
Pošaljite ovaj vektor u klasifikator (npr. linear + softmax za višeklasnu klasifikaciju).
Obučavajte ceo model (BERT + klasifikator) zajedno za ciljnu zadatak, koristeći odgovarajuću funkciju gubitka (npr. CrossEntropyLoss).

Primer u PyTorch-u:

from transformers import BertModel, BertTokenizer
import torch.nn as nn

class BertClassifier(nn.Module):
    def __init__(self, bert_model_name, num_classes):
        super().__init__()
        self.bert = BertModel.from_pretrained(bert_model_name)
        self.classifier = nn.Linear(self.bert.config.hidden_size, num_classes)

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)
        cls_output = outputs.last_hidden_state[:, 0, :]  # [CLS] token
        logits = self.classifier(cls_output)
        return logits

Dakle, za klasifikaciju se uzima tačno izlaz [CLS] tokena iz poslednjeg sloja BERT-a.

Претходно Следеће