Jakie cechy są brane pod uwagę przy ocenie jakości agentów przeglądania (WebArena)?

Ocena jakości agentów przeglądania (np. w WebArena) wymaga uwzględnienia kilku kluczowych aspektów:

• Dokładność i trafność odpowiedzi: jak dobrze agent potrafi poprawnie interpretować zapytania i znajdować istotne informacje na stronach internetowych.
• Zdolności nawigacyjne: umiejętność agenta do skutecznego poruszania się po strukturze strony, omijania linków, formularzy i treści dynamicznych.
• Obsługa błędów i sytuacji nietypowych: jak agent radzi sobie z brakiem informacji, zmianami w strukturze strony lub ograniczeniami dostępu.
• Prędkość i efektywność: czas poświęcony na wyszukiwanie i przetwarzanie informacji oraz wykorzystanie zasobów.
• Interaktywność i adaptacyjność: zdolność agenta do dostosowania się do różnych typów stron i zapytań.

Do oceny często używa się metryk jakości, takich jak precision/recall dla znalezionych informacji, a także przeprowadza testy użytkowników w celu oceny wygody i użyteczności pracy agenta.