Dönüştürcelerde dikkat vektörü ne gösterir?

Dönüştürücülerde dikkat vektörü, modelin giriş dizisindeki her kelimeye (veya tokena) ne kadar çok "dikkat ettiğini" gösterir, belirli bir çıkış token'ını işlerken. Kısaca, bu, her giriş öğesinin mevcut adım için önemini belirleyen ağırlıklardır.

Örneğin, bir dönüştürücüde bir cümleyi çevirirken, çıkışta her kelime için bir dikkat vektörü hesaplanır ve bu vektör, girişteki hangi kelimelerin bu kelimeyi üretmek için en alakalı olduğunu gösterir. Bu, modelin bağlamı ve kelimeler arasındaki bağımlılıkları dikkate almasını sağlar, hatta bunlar birbirinden uzak olsa bile.

Dikkat vektörü, genellikle softmax ile normalize edilen sayıların (ağırlıkların) bir kümesidir, burada büyük değerler, ilgili giriş token'ının mevcut adım için daha büyük öneme sahip olduğunu gösterir.

Örnek: Model "river bank" bağlamında "bank" kelimesini çevirirken, dikkat vektörü girişteki "river" ve "bank" kelimelerini vurgulayabilir, böylece anlamı doğru şekilde anlayabilir.