Comment tester un agent LLM (tests déterministes, rejouer, outils simulés) ?

Les tests des agents LLM peuvent être effectués selon les méthodes suivantes :

• Tests déterministes : enregistrer les données d'entrée et le résultat attendu pour vérifier que l'agent se comporte toujours de manière prévisible dans les mêmes conditions.

• Replay (reproduction) : sauvegarder les sessions d'interaction avec l'agent pour reproduire et vérifier son comportement avec les mêmes données.

• Outils simulés (mocked tools) : les services ou outils externes avec lesquels l'agent interagit sont remplacés par des simulations pour isoler le composant testé et contrôler les réponses.

Exemple : lors du test d'un agent qui appelle une API pour obtenir des données, on peut remplacer l'API réelle par un mock renvoyant des données prévisibles et vérifier comment l'agent les traite.