Какви са метриките без референция и базирани на референция?
sobes.tech AI
Отговор от AI
Метрики, базирани на референция в машинното обучение и обработката на естествения език, са методи за оценка на качеството на модела, които изискват референтен (референционен) отговор или набор от отговори за сравнение. Например, в задачите за машинен превод или генериране на текст често се използват BLEU, ROUGE, METEOR — те сравняват генерирания текст с референтния.
Метрики без референция (също наричани безреферентни) оценяват качеството на изхода на модела без директно сравнение с референтен отговор. Те могат да използват вътрешни признаци на текста, езикови модели или други херистики за оценка на качеството. Тези метрики са полезни, когато референтните данни липсват или са ограничени.
Пример: за оценка на диалогови системи, безреферентните метрики могат да оценяват свързаността, релевантността и граматичността на отговора без референтен вариант, докато референтно-базираните метрики изискват предварително подготвени правилни отговори.