Repetition cezası ve frekans/varlık cezası nedir?

Tekrar cezası — bu, metinde aynı kelimelerin veya ifadelerin tekrar edilme olasılığını azaltmak için kullanılan bir parametredir. Daha önce üretilmiş tokenların seçilme olasılığını azaltır, böylece metni daha çeşitli ve doğal hale getirir.

Frekans cezası ve varlık cezası — bunlar, üretimi etkileyen ilişkili ama farklı iki yöntemdir:

• Frekans cezası, bir tokenın seçilme olasılığını, onun zaten üretilmiş metinde kaç kez göründüğüne orantılı olarak azaltır. Token ne kadar sık görünürse, ceza o kadar güçlü olur.

• Varlık cezası, bir token en az bir kez göründüyse, onun seçilme olasılığını azaltır, tekrar sayısından bağımsızdır.

Metin üretiminde kullanım örneği:

# Üretimi ayarlamak için psödokod
def generate_text():
    model.generate(
        input_text,
        repetition_penalty=1.2,  # tekrarları azaltır
        frequency_penalty=0.5,   # sık görülen tokenları cezalandırır
        presence_penalty=0.3    # metinde zaten bulunan tokenları cezalandırır
    )

Bu şekilde, bu parametreler çeşitliliği kontrol etmeye ve monotonluğu veya aşırı tekrarları önlemeye yardımcı olur.