Ինչ է BLEU-ը և ինչ խնդիրներ ունի այս չափանիշը:

BLEU (Բիլինգվալ գնահատման փոխարինող) մի չափանիշ է մեքենայական թարգմանության որակը գնահատելու համար և այլ տեքստի գեներացման առաջադրանքների համար: Այն չափում է, թե որքան լավ է գեներացված տեքստը համապատասխանում մեկ կամ մի քանի ռեֆերենս թարգմանություններին՝ n-գրամների համընկնումով:

BLEU-ի հիմնական առանձնահատկությունները՝

• Հաշվարկում է n-գրամների ճշգրտությունը (հաճախ 1-ից 4):
• Ներառում է կրճատման պատժամիջոց՝ շատ կարճ թարգմանությունների համար (կրճատման պատժամիջոց):

BLEU-ի խնդիրները՝

• Չի հաշվի semantic մոտեցումը, միայն բառերի ճշգրիտ համընկնումը:
• Հասանելի է ոճի և ձևակերպումների նկատմամբ, ինչը կարող է նվազեցնել լավ, բայց պառաֆրազացված թարգմանությունների գնահատականը:
• Փոքր նախադասությունների համար ավելի քիչ տեղեկատվություն է տալիս:

Կիրառվում է մեքենայական թարգմանության, տեքստի ամփոփման և այլ NLP առաջադրանքներում, որտեղ կարևոր է գեներացված տեքստի որակի գնահատումը։