Čo je to penalizácia za opakovanie a penalizácia za frekvenciu/prítomnosť?

Pokuta za opakovanie — toto je parameter používaný v generatívnych jazykových modeloch na zníženie pravdepodobnosti opakovania tých istých slov alebo fráz v texte. Znižuje pravdepodobnosť výberu tokenov, ktoré už boli vygenerované, čo pomáha urobiť text rozmanitejší a prirodzenejší.

Pokuta za frekvenciu a pokuta za prítomnosť — sú dva súvisiace, ale odlišné spôsoby ovplyvňovania generovania:

• Pokuta za frekvenciu znižuje pravdepodobnosť výberu tokenu úmerne tomu, koľkokrát sa už v texte objavil. Čím častejšie sa token vyskytuje, tým väčšia je pokuta.

• Pokuta za prítomnosť znižuje pravdepodobnosť výberu tokenu, ak sa už objavil aspoň raz, bez ohľadu na počet opakovania.

Príklad použitia pri generovaní textu:

# Pseudokód na nastavenie generovania
def generate_text():
    model.generate(
        input_text,
        repetition_penalty=1.2,  # znižuje opakovania
        frequency_penalty=0.5,   # trestá často sa vyskytujúce tokeny
        presence_penalty=0.3    # trestá už prítomné tokeny v texte
    )

Tieto parametre pomáhajú kontrolovať rozmanitosť a vyhýbať sa monotónnosti alebo nadmernému opakovaniu v generovanom texte.