Təkrarlama cəzası və tezlik/mövcudiyyət cəzası nədir?

Təkrarlama cəzası — bu, mətn daxilində eyni sözlərin və ya ifadələrin təkrarlanma ehtimalını azaltmaq üçün istifadə olunan parametrdir. O, artıq yaradılmış tokenlərin seçilmə ehtimalını azaldır, bu da mətni daha müxtəlif və təbii edir.

Tezlik cəzası və mövcudiyyət cəzası — bunlar, yaradılmaya təsir edən əlaqəli, amma fərqli iki üsuldur:

• Tezlik cəzası seçilən tokenin artıq neçə dəfə mətnə daxil olduğunu nəzərə alaraq ehtimalını azaldır. Token nə qədər çox təkrarlanarsa, cəza da bir o qədər güclü olur.

• Mövcudiyyət cəzası isə, token artıq ən az bir dəfə təkrarlanıbsa, onun seçilmə ehtimalını azaldır, təkrarlanma sayından asılı olmayaraq.

Mətnin yaradılmasında istifadə nümunəsi:

# Parametrlərin qurulması üçün pseudokod
def generate_text():
    model.generate(
        input_text,
        repetition_penalty=1.2,  # təkrarlamaları azaldır
        frequency_penalty=0.5,   # tez-tez rast gəlinən tokenləri cəzalandırır
        presence_penalty=0.3    # artıq mətndə mövcud olan tokenləri cəzalandırır
    )

Bu parametrlər müxtəlifliyi idarə etməyə və monotonluğu və ya artıq təkrarı qarşısını almağa kömək edir.