Референссиз жана референс негизделген метрикалар эмнелер?

Мәгълүматларга нигезләнгән метрикалар машина өйрәнү һәм табигый тел эшкәртү өлкәсендә модельнең сыйфатын бәяләү ысуллары булып тора, аларга чагыштыру өчен референс (нәтиҗә) җавап яки җаваплар җыелмасы кирәк. Мәсәлән, автоматик тәрҗемә яки текст генерациясе бурычларында еш кына BLEU, ROUGE, METEOR кулланыла — алар генерирланган текстны референс белән чагыштыра.

Референссыз метрикалар (шулай ук референссыз дип тә атала) модельнең чыгу сыйфатын турыдан-туры референс җавап белән чагыштырмыйча бәяли. Алар эчке характеристикалар, тел модельләре яки башка heuristics кулланырга мөмкин. Мондый метрикалар референс мәгълүматлары юк яки чикләнгән вакытта файдалы.

Мәсәлән, диалог системаларын бәяләгәндә, референссыз метрикалар җавапның бәйләнешен, актуальлеген һәм грамматик төгәллеген референс вариациясез бәяли ала, ә референс нигезләнгән метрикалар алдан әзерләнгән дөрес җавапларны таләп итә.