¿Cómo probar un agente LLM (pruebas deterministas, reproducción, herramientas simuladas)?

Las pruebas de agentes LLM se pueden realizar mediante los siguientes métodos:

• Pruebas deterministas: se registran los datos de entrada y el resultado esperado para verificar que el agente siempre se comporte de manera predecible bajo las mismas condiciones.

• Replay (reproducción): se guardan las sesiones de interacción con el agente para reproducir y verificar su comportamiento con los mismos datos.

• Herramientas simuladas (mocked tools): los servicios o herramientas externas con las que interactúa el agente se reemplazan por simulaciones para aislar el componente en prueba y controlar las respuestas.

Ejemplo: al probar un agente que llama a una API para obtener datos, se puede reemplazar la API real por un mock que devuelva datos predecibles y verificar cómo procesa esos datos.