BERT ni qanday qilib tasniflash vazifasi uchun fine-tune qilish mumkin? Chiqishdan nima olish kerak?

BERT-ni tasniflash vazifasi uchun fine-tuning qilishda odatda [CLS] maxsus tokenining chiqishi olinadi, bu model tomonidan butun ketma-ketlik haqida ma'lumotlarni yig'ish uchun ishlatiladi.

Asosiy bosqichlar:

1. BERT ustiga tasniflash qatlami qo'shish — odatda, bu BERT ning chiqish qatlamidan [CLS] tokeniga mos keladigan vektorni qabul qiladigan to'liq bog'langan qatlam.

2. Kiritilgan ma'lumotlar BERT ga [CLS] tokeni bilan boshida yuboriladi.

3. BERT ning oxirgi yashirin qatlamidan [CLS] embeddingini chiqarib oling. Bu vektor, masalan, 768 o'lchamda (asosiy model uchun), butun ketma-ketlik haqida siqilgan ma'lumotni o'z ichiga oladi.

4. Ushbu vektorni tasniflagichga (masalan, linear + softmax uchun ko'p sinfli tasniflash) yuboring.

5. Barcha modelni (BERT + tasniflagich) birgalikda maqsadli vazifa uchun o'qitish, mos keladigan yo'qotish funksiyasidan foydalanib (masalan, CrossEntropyLoss).

PyTorch misoli:

from transformers import BertModel, BertTokenizer
import torch.nn as nn

class BertClassifier(nn.Module):
    def __init__(self, bert_model_name, num_classes):
        super().__init__()
        self.bert = BertModel.from_pretrained(bert_model_name)
        self.classifier = nn.Linear(self.bert.config.hidden_size, num_classes)

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)
        cls_output = outputs.last_hidden_state[:, 0, :]  # [CLS] token
        logits = self.classifier(cls_output)
        return logits

Shunday qilib, tasniflash uchun aynan BERT ning oxirgi qatlamidan [CLS] tokenining chiqishi olinadi.