Jaké jsou vlastnosti při hodnocení kvality browse-agentů (WebArena)?

Při hodnocení kvality prohlížecích agentů (například v WebArena) je důležité vzít v úvahu několik klíčových aspektů:

• Přesnost a relevance odpovědí: jak dobře je agent schopen správně interpretovat dotazy a najít relevantní informace na webových stránkách.
• Návštěvní schopnosti: schopnost agenta efektivně se pohybovat ve struktuře stránky, obejít odkazy, formuláře a dynamický obsah.
• Řešení chyb a nestandardních situací: jak agent zvládá absenci informací, změny ve struktuře stránky nebo omezení přístupu.
• Rychlost a efektivita: čas věnovaný hledání a zpracování informací, stejně jako využívání zdrojů.
• Interaktivita a přizpůsobivost: schopnost agenta přizpůsobit se různým typům stránek a dotazů.

Pro hodnocení se často používají metriky kvality, například precision/recall pro nalezené informace, a také se provádějí uživatelské testy k posouzení pohodlí a užitečnosti práce agenta.