¿Cuáles son las características al evaluar la calidad de los agentes de navegación (WebArena)?

Al evaluar la calidad de los agentes de navegación (por ejemplo, en WebArena), es importante tener en cuenta varios aspectos clave:

• Precisión y relevancia de las respuestas: qué tan bien el agente puede interpretar correctamente las consultas y encontrar información relevante en las páginas web.
• Capacidades de navegación: la habilidad del agente para desplazarse eficazmente por la estructura del sitio, evitar enlaces, formularios y contenido dinámico.
• Manejo de errores y situaciones no estándar: cómo el agente maneja la ausencia de información, cambios en la estructura del sitio o restricciones de acceso.
• Velocidad y eficiencia: el tiempo dedicado a buscar y procesar información, así como el uso de recursos.
• Interactividad y adaptabilidad: la capacidad del agente para ajustarse a diferentes tipos de sitios y consultas.

Para la evaluación, a menudo se utilizan métricas de calidad, como precisión/recall para la información encontrada, y también se realizan pruebas con usuarios para evaluar la comodidad y utilidad del trabajo del agente.