Mis on kordamise karistus ja sageduse/oleku karistus?

Kordamise karistus — see on parameeter, mida kasutatakse generatiivsetes keelemudelites, et vähendada sama sõna või fraasi kordamise tõenäosust tekstis. See vähendab valitud tokenite tõenäosust, mis on juba genereeritud, aidates muuta teksti mitmekesisemaks ja loomulikumaks.

Frekventsi karistus ja oleku karistus — need on kaks seotud, kuid erinevat viisi mõju genereerimisele:

• Frekventsi karistus vähendab tokeni valimise tõenäosust proportsionaalselt selle juba esinemise arvuga genereeritud tekstis. Mida sagedamini token esineb, seda tugevam on karistus.

• Oleku karistus vähendab tokeni valimise tõenäosust, kui see on juba vähemalt korra esinenud, sõltumata korduste arvust.

Näide kasutamisest teksti genereerimisel:

# Pseudokood genereerimise seadistamiseks
def generate_text():
    model.generate(
        input_text,
        repetition_penalty=1.2,  # vähendab kordusi
        frequency_penalty=0.5,   # karistab sageli esinevaid tokenid
        presence_penalty=0.3    # karistab juba tekstis olevaid tokenid
    )

Need parameetrid aitavad kontrollida mitmekesisust ja vältida monotonust või liigseid kordusi genereeritud tekstis.