Quais são as características na avaliação da qualidade dos agentes de navegação (WebArena)?

Ao avaliar a qualidade dos agentes de navegação (por exemplo, no WebArena), é importante considerar vários aspetos-chave:

• Precisão e relevância das respostas: quão bem o agente consegue interpretar corretamente as consultas e encontrar informações relevantes nas páginas web.
• Capacidades de navegação: a habilidade do agente de mover-se eficientemente pela estrutura do site, evitar links, formulários e conteúdo dinâmico.
• Tratamento de erros e situações não padrão: como o agente lida com a ausência de informações, mudanças na estrutura do site ou restrições de acesso.
• Velocidade e eficiência: o tempo gasto na busca e processamento de informações, bem como o uso de recursos.
• Interatividade e adaptabilidade: a capacidade do agente de ajustar-se a diferentes tipos de sites e consultas.

Para avaliação, frequentemente utilizam-se métricas de qualidade, como precisão/recall para as informações encontradas, além de testes com usuários para avaliar a conveniência e utilidade do trabalho do agente.