Трансформатор чӣ гуна сохта шудааст ва дар он кадом блокҳои калон ҳастанд?

Трансформер — ин архитектураи шабакаи асабии нейронӣ мебошад, ки барои коркарди пайдарпайҳо, масалан, матн, васеъ истифода мешавад. Нақшаи асосии трансформер истифодаи механизмҳои диққат (attention) барои вазн додани аҳамияти қисмҳои гуногуни маълумоти воридотӣ бидуни қабатҳои такрорӣ ё конволютсионӣ мебошад.

Блокҳои асосии трансформер:

1. Намояндагии воридотӣ (Embedding) — тағйир додани токенҳои воридотӣ ба намоишҳои векторӣ.

2. Кодекси ҷойгиршавӣ (Positional Encoding) — илова кардани маълумот дар бораи ҷойгиршавии токенҳо дар пайдарпайӣ, зеро механизмҳои диққат ҷойро ба назар намегиранд.

3. Механизми диққат (Self-Attention) — ҳисоб кардани коэффициентҳои вазн барои ҳар як токен нисбат ба ҳамаи дигарон, ки имкон медиҳад модел ба қисмҳои дахлдори воридот диққат диҳад.

4. Диққати бисёрсар (Multi-Head Attention) — дар як вақт чанд механизмҳои диққатро барои ҳадс задани ҷанбаҳои гуногуни вобастагӣ истифода мебарад.

5. Нормализатсия ва пайвастагиҳои резидалӣ (Layer Normalization ва Residual Connections) — кӯмак мекунанд, ки омӯзиш устувор бошад ва ҷараёни градиент беҳтар шавад.

6. Қабатҳои пурра пайваст (Feed-Forward Network) — ба ҳар як унсури пайдарпайӣ алоҳида барои табдили ғайрилинейӣ татбиқ мешаванд.

7. Қабати баромад — барои вазифаҳои истеҳсол ё класификатсия.

Масалан, структураи соддашудаи як қабати трансформер:

class TransformerLayer(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.self_attn = nn.MultiheadAttention(d_model, nhead)
        self.linear1 = nn.Linear(d_model, d_model*4)
        self.linear2 = nn.Linear(d_model*4, d_model)
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)

    def forward(self, x):
        attn_output, _ = self.self_attn(x, x, x)
        x = self.norm1(x + attn_output)
        ff_output = self.linear2(F.relu(self.linear1(x)))
        x = self.norm2(x + ff_output)
        return x

Инчунин, трансформер аз қабатҳои такроршаванда иборат аст, ки имкон медиҳад, ки вобастагиҳо дар маълумотҳо самаранок модел карда шаванд.