Quelles sont les caractéristiques lors de l'évaluation de la qualité des agents de navigation (WebArena) ?

Lors de l’évaluation de la qualité des agents de navigation (par exemple, dans WebArena), il est important de prendre en compte plusieurs aspects clés:

• Précision et pertinence des réponses : dans quelle mesure l’agent peut interpréter correctement les requêtes et trouver des informations pertinentes sur les pages web.
• Capacités de navigation : la capacité de l’agent à se déplacer efficacement dans la structure du site, à contourner les liens, les formulaires et le contenu dynamique.
• Gestion des erreurs et des situations non standard : comment l’agent gère l’absence d’informations, les changements dans la structure du site ou les restrictions d’accès.
• Vitesse et efficacité : le temps consacré à la recherche et au traitement de l’information, ainsi que l’utilisation des ressources.
• Interactivité et adaptabilité : la capacité de l’agent à s’adapter à différents types de sites et de requêtes.

Pour l’évaluation, on utilise souvent des métriques de qualité telles que la précision/le rappel pour l’information trouvée, et des tests utilisateur sont également effectués pour évaluer la convivialité et l’utilité du travail de l’agent.