Ինչպե՞ս է կառուցված փոխարկիչը և ինչ մեծ բլոկներ ունի:

Տրանսֆորմերը՝ դա նեյրոցանցի ճարտարապետություն է, որը լայնորեն օգտագործվում է հաջորդականությունների մշակման համար, օրինակ՝ տեքստի։ Տրանսֆորմերի հիմնական գաղափարը՝ ուշադրության մեխանիզմը (attention) օգտագործել տարբեր մասերի կարևորությունը գնահատելու համար առանց ռեկուրսիվ կամ կոնվոլյուցիոն շերտերի:

Մեծ տրանսֆորմերի բլոկներ՝

1. Ներմուծման ներկայացում (Embedding) — փոխում է մուտքային տոքենները վեկտորային ներկայացումների:

2. Պոզիցիոն կոդավորում (Positional Encoding) — ավելացնում է տոքենների դիրքի մասին տեղեկատվություն, քանի որ ուշադրության մեխանիզմը չի հաշվի կարգը:

3. Ուղղակի ուշադրության մեխանիզմ (Self-Attention) — հաշվում է քաշային գործակիցներ յուրաքանչյուր տոքենի համար մյուսների նկատմամբ, թույլ տալով մոդելին կենտրոնանալ կարևոր մասերի վրա:

4. Բազմագլխանի ուշադրություն (Multi-Head Attention) — միաժամանակյա մի քանի ուշադրության մեխանիզմների կիրառում՝ տարբեր կախվածությունների аспектները բռնելու համար:

5. Նորմալիզացիա և մնումային կապեր (Layer Normalization և Residual Connections) — օգնում են կայունացնել ուսուցումը և բարելավել գրադիենտային հոսքը:

6. Լրացուցիչ կապակցված շերտեր (Feed-Forward Network) — կիրառվում են յուրաքանչյուր տարրին առանձին՝ ոչ գծային փոխակերպման համար:

7. Ելքային շերտ — գեներացման կամ դասակարգման խնդիրների համար:

Օպտիմիզացված կառուցվածքի օրինակ՝ մեկ տրանսֆորմեր շերտի:

class TransformerLayer(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.self_attn = nn.MultiheadAttention(d_model, nhead)
        self.linear1 = nn.Linear(d_model, d_model*4)
        self.linear2 = nn.Linear(d_model*4, d_model)
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)

    def forward(self, x):
        attn_output, _ = self.self_attn(x, x, x)
        x = self.norm1(x + attn_output)
        ff_output = self.linear2(F.relu(self.linear1(x)))
        x = self.norm2(x + ff_output)
        return x

Այսպիսով, տրանսֆորմերը կառուցվում է նման շերտերի կրկնությամբ, ինչը թույլ է տալիս արդյունավետ մոդելավորել տվյալների կախվածությունները։