O que é a penalização de repetição e a penalização de frequência/presença?

Penalização de repetição — é um parâmetro utilizado em modelos de linguagem generativos para reduzir a probabilidade de repetição das mesmas palavras ou frases no texto. Ele diminui a probabilidade de selecionar tokens que já foram gerados, ajudando a tornar o texto mais diversificado e natural.

Penalização de frequência e penalização de presença — são duas formas relacionadas, mas diferentes, de influenciar a geração:

• A penalização de frequência reduz a probabilidade de escolher um token proporcionalmente ao número de vezes que ele já apareceu no texto gerado. Quanto mais frequente for o token, maior será a penalização.

• A penalização de presença reduz a probabilidade de selecionar um token se ele já apareceu pelo menos uma vez, independentemente do número de repetições.

Exemplo de uso na geração de texto:

# Pseudocódigo para configurar a geração
def generate_text():
    model.generate(
        input_text,
        repetition_penalty=1.2,  # reduz repetições
        frequency_penalty=0.5,   # penaliza tokens frequentes
        presence_penalty=0.3    # penaliza tokens já presentes no texto
    )

Dessa forma, esses parâmetros ajudam a controlar a diversidade e evitar monotonia ou repetições excessivas no texto gerado.