Ҷазои такрор ва ҷазои басомад/муддат чист?

Ҷазои такрор — ин як параметр аст, ки дар моделҳои забони генеративӣ барои кам кардани эҳтимолияти такрори калимаҳо ё ибораҳои якхела дар матн истифода мешавад. Он эҳтимолияти интихоби токенҳоро, ки аллакай истеҳсол шудаанд, кам мекунад, ки кӯмак мекунад, ки матн бештар гуногун ва табиӣ бошад.

Ҷазои басомад ва ҷазои ҳузур — ду роҳи вобаста, аммо гуногун барои таъсир расондан ба истеҳсол:

• Ҷазои басомад эҳтимолияти интихоби токенро нисбат ба он, ки чанд маротиба дар матни истеҳсолшуда пайдо шудааст, кам мекунад. Ҳатто бештар пайдо шудани токен, ҷазо ҳамон қадар қавитар аст.

• Ҷазои ҳузур эҳтимолияти интихоби токенро кам мекунад, агар он аллакай ҳадди ақал як маротиба пайдо шуда бошад, бе назар ба шумораи такрорҳо.

Маслиҳат барои истифода дар истеҳсоли матн:

# Псевдокод барои танзим кардани истеҳсол
def generate_text():
    model.generate(
        input_text,
        repetition_penalty=1.2,  # кам кардани такрорҳо
        frequency_penalty=0.5,   # ҷазо додани токенҳои зуд-зуд пайдошаванда
        presence_penalty=0.3    # ҷазо додани токенҳое, ки аллакай дар матн ҳастанд
    )

Ин параметрҳо кӯмак мекунанд, ки гуногунрангӣ назорат карда шавад ва монотонӣ ё такрори зиёдатиро дар матни истеҳсолшуда пешгирӣ кунанд.