Czym jest kara za powtórzenia i kara za częstotliwość/presencję?

Kara kara penalizacja — jest parametrem używanym w modelach językowych generatywnych do zmniejszenia prawdopodobieństwa powtarzania tych samych słów lub fraz w tekście. Obniża prawdopodobieństwo wyboru tokenów, które już zostały wygenerowane, co pomaga uczynić tekst bardziej zróżnicowanym i naturalnym.

Penalizacja częstotliwości i penalizacja obecności — to dwa powiązane, ale różne sposoby wpływania na generację:

• Penalizacja częstotliwości zmniejsza prawdopodobieństwo wyboru tokena proporcjonalnie do tego, ile razy już się pojawił w wygenerowanym tekście. Im częściej token się pojawia, tym silniejsza jest kara.

• Penalizacja obecności zmniejsza prawdopodobieństwo wyboru tokena, jeśli pojawił się on już przynajmniej raz, niezależnie od liczby powtórzeń.

Przykład użycia w generacji tekstu:

# Pseudokod do ustawienia generacji
def generate_text():
    model.generate(
        input_text,
        repetition_penalty=1.2,  # zmniejsza powtórzenia
        frequency_penalty=0.5,   # karze często występujące tokeny
        presence_penalty=0.3    # karze tokeny, które już pojawiły się w tekście
    )

W ten sposób te parametry pomagają kontrolować różnorodność i unikać monotonii lub nadmiernych powtórzeń w wygenerowanym tekście.