Dekodlamada karşılaştırmalı arama nedir?

Karşıtlık araması, üretici dil modellerinde kullanılan bir kod çözme yöntemidir ve üretilen metnin kalitesini, token olasılıkları ile çıktı çeşitliliği arasında denge kurarak artırmayı amaçlar. Açgözlü arama veya örnekleme yöntemlerinin aksine, karşıtlık araması tekrarları en aza indirmeye ve çok tahmin edilebilir veya çok rastgele seçeneklerden kaçınmaya çalışır.

Fikir, bir sonraki tokeni yalnızca maksimum olasılık temelinde değil, aynı zamanda adaylar arasındaki kontrastı dikkate alarak seçmektir; bu, modelin takılıp kalmış veya çok tahmin edilebilir cevaplardan kaçınmasına yardımcı olur. Bu, adaylar iki kriter üzerinden değerlendirilerek başarılır: olasılık ve zaten üretilmiş tokenlerle olan çeşitlilik derecesi.

Algoritma yaklaşık olarak şu şekilde çalışır:

• Bir sonraki token için çok sayıda aday üretilir.
• Her aday için, olasılık ve önceki tokenlerle olan çeşitlilik ölçüsünü dikkate alan bir skor hesaplanır.
• Olasılık ve çeşitlilik arasında en iyi dengeyi sağlayan aday seçilir.

Bu, klasik açgözlü aramadan daha tutarlı ve çeşitli bir metin elde etmeye olanak tanır ve rastgele örneklemeden daha kontrollü bir sonuç sağlar.