Cos'è la penalità di ripetizione e la penalità di frequenza/presenza?

Penalità di ripetizione — è un parametro utilizzato nei modelli di linguaggio generativi per ridurre la probabilità di ripetere le stesse parole o frasi nel testo. Riduce la probabilità di scegliere token già generati, contribuendo a rendere il testo più vario e naturale.

Penalità di frequenza e penalità di presenza — sono due metodi correlati, ma diversi, per influenzare la generazione:

• La penalità di frequenza riduce la probabilità di scegliere un token in proporzione a quante volte è già apparso nel testo generato. Più un token appare frequentemente, maggiore sarà la penalità.

• La penalità di presenza riduce la probabilità di scegliere un token se è già apparso almeno una volta, indipendentemente dal numero di ripetizioni.

Esempio di utilizzo nella generazione di testo:

# Pseudocodice per configurare la generazione
def generate_text():
    model.generate(
        input_text,
        repetition_penalty=1.2,  # riduce le ripetizioni
        frequency_penalty=0.5,   # penalizza i token frequenti
        presence_penalty=0.3    # penalizza i token già presenti nel testo
    )

In questo modo, questi parametri aiutano a controllare la diversità ed evitare monotonia o ripetizioni eccessive nel testo generato.