Bir dönüştürücüde FFN katmanı nedir ve dikkat blokları arasındaki doğrusal olmayanlık neden gereklidir?

Transformerdaki FFN (İleri Besleme Ağı) katmanı, iki katmanlı tamamen bağlı bir sinir ağıdır ve dikkat (attention) katmanından sonra her bir dizi öğesine ayrı ayrı uygulanır. Görevi, ek bir doğrusal olmayan işlem eklemek ve modelin ifade gücünü artırmaktır.

Dikkat blokları arasındaki doğrusal olmayanlık, modelin karmaşık fonksiyonları ve bağımlılıkları yaklaşık olarak modelleyebilmesi için gereklidir. Dikkat, farklı pozisyonlardaki bilgilerin ağırlıklı toplamını sağlar ve doğrusal olmayan aktivasyon (örneğin ReLU veya GELU) içeren FFN, transformerin sadece doğrusal kombinasyonlardan daha karmaşık desenleri modellemesine yardımcı olur.

Bir FFN katmanının yapısına örnek:

import torch
import torch.nn as nn

class FFN(nn.Module):
    def __init__(self, d_model, d_ff):
        super().__init__()
        self.linear1 = nn.Linear(d_model, d_ff)
        self.activation = nn.GELU()
        self.linear2 = nn.Linear(d_ff, d_model)

    def forward(self, x):
        return self.linear2(self.activation(self.linear1(x)))

Burada, d_model giriş ve çıkış vektörlerinin boyutudur, d_ff ise iç katmanın boyutudur ve genellikle d_model'den büyüktür.

Bu şekilde, doğrusal olmayanlık içeren FFN katmanı, özelliklerin derin doğrusal olmayan dönüşümünü sağlar ve bu da eğitimi ve model kalitesini artırır.