Kā veikt BERT finetuning klasifikācijas uzdevumam? Ko ņemt no izejas?

Lai optimizētu BERT finetuning uz klasifikācijas uzdevumiem, parasti ņem īpašo [CLS] tokena izvadi, ko modelis izmanto, lai apkopotu informāciju par visu secību.

Galvenie soļi:

1. Pievienot klasifikācijas slāni virs BERT — parasti tas ir lineārs slānis, kas saņem no pēdējā BERT slāņa izvades vektoru, kas atbilst [CLS] tokenam.

2. Ievades dati tiek nodoti BERT ar [CLS] tokenu sākumā.

3. Izvilkt [CLS] iekļaušanu no pēdējā slēptā BERT slāņa. Šis vektors, piemēram, 768 izmēra (pamatmodelim), satur saīsinātu informāciju par visu secību.

4. Nosūtīt šo vektoru klasifikatoram (piemēram, lineārs + softmax daudzklasificēšanai).

5. Apmācīt visu modeli (BERT + klasifikators) kopā mērķa uzdevumam, izmantojot piemērotu zaudējumu funkciju (piemēram, CrossEntropyLoss).

PyTorch piemērs:

from transformers import BertModel, BertTokenizer
import torch.nn as nn

class BertClassifier(nn.Module):
    def __init__(self, bert_model_name, num_classes):
        super().__init__()
        self.bert = BertModel.from_pretrained(bert_model_name)
        self.classifier = nn.Linear(self.bert.config.hidden_size, num_classes)

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)
        cls_output = outputs.last_hidden_state[:, 0, :]  # [CLS] tokens
        logits = self.classifier(cls_output)
        return logits

Tādējādi klasifikācijai tiek ņemts tieši pēdējā slāņa [CLS] tokena izvads.