Co je to penalizace za opakování a penalizace za frekvenci/přítomnost?

Penále za opakování — je parametr používaný v generativních jazykových modelech ke snížení pravděpodobnosti opakování stejných slov nebo frází v textu. Snižuje pravděpodobnost výběru tokenů, které již byly vygenerovány, což pomáhá udělat text rozmanitější a přirozenější.

Penále za frekvenci a penále za přítomnost — jsou dva související, ale odlišné způsoby ovlivnění generování:

• Penále za frekvenci snižuje pravděpodobnost výběru tokenu úměrně tomu, kolikrát se již v textu objevil. Čím častěji se token vyskytuje, tím větší je trest.

• Penále za přítomnost snižuje pravděpodobnost výběru tokenu, pokud se již objevil alespoň jednou, bez ohledu na počet opakování.

Příklad použití při generování textu:

# Pseudokód pro nastavení generování
def generate_text():
    model.generate(
        input_text,
        repetition_penalty=1.2,  # snižuje opakování
        frequency_penalty=0.5,   # trestá často se vyskytující tokeny
        presence_penalty=0.3    # trestá tokeny, které již v textu jsou
    )

Tato nastavení pomáhají kontrolovat rozmanitost a vyhýbat se monotónnosti nebo nadměrným opakováním v generovaném textu.