Comment évaluer les agents d'IA
Un aperçu de l'évaluation des agents d'IA et des LLM par annotation humaine, aux niveaux trajectoire, étape, span et comparaison, et quel outil Potato convient à chaque cas.
Évaluer un agent d'IA, c'est juger non seulement sa réponse finale, mais aussi le chemin qu'il a suivi : le raisonnement, les appels d'outils et les actions tout au long du parcours. L'annotation humaine reste la référence pour cela, car beaucoup d'échecs d'agents (une étape plausible mais fausse, une action dangereuse) ne peuvent être détectés de façon fiable que par une personne. Potato est un outil open source pour l'annotation humaine des trajectoires d'agents LLM, avec une vue dédiée à chaque niveau d'évaluation.
Ici, un agent d'IA désigne un système piloté par un LLM qui exécute des actions en plusieurs étapes (appeler des outils, naviguer ou écrire du code) pour accomplir une tâche. Voir l'aperçu de l'évaluation d'agents et la référence Annotation agentique.
Quels sont les niveaux d'évaluation des agents d'IA ?
Choisissez le niveau qui correspond à la question que vous vous posez :
- Niveau trajectoire : jugez l'exécution entière. A-t-elle réussi ? Était-elle efficace et sûre ? Voir Annoter les trajectoires d'agents.
- Niveau étape : jugez chaque action. Cet appel d'outil était-il correct ? Cette étape était-elle nécessaire ? Ce sont les données qui alimentent les modèles de récompense de processus.
- Niveau span : mettez en évidence des problèmes précis dans les sorties, comme une affirmation hallucinée ou une instruction dangereuse. Voir Détecter les hallucinations.
- Niveau comparaison : jugez deux agents ou deux exécutions face à face. Voir Comparaison de modèles par paires.
- Niveau équipe : pour les systèmes multi-agents, attribuez un échec à l'agent, à l'étape et à la passation responsables. Voir Comment évaluer les systèmes multi-agents.
Quels formats de traces d'agents Potato prend-il en charge ?
Potato lit les traces d'agents dans 13 formats, dont les appels d'outils d'OpenAI et d'Anthropic, ReAct, LangChain, LangFuse, WebArena, SWE-bench, MCP et OpenTelemetry, et les affiche dans des vues adaptées au type d'agent :
- Vue de trace d'agent pour les traces de raisonnement et d'outils.
- Vue d'agent web avec captures d'écran et superpositions d'actions, voir Évaluation des agents web.
- Vue de trace de code avec diffs et sortie de terminal, voir Évaluation des agents de code.
- Vue d'agent en direct pour observer et piloter un agent en temps réel, voir Évaluation d'agents en direct.
- Vues d'agents multimodaux pour les agents d'usage informatique, vocaux et vidéo, voir Évaluer les agents d'usage informatique et multimodaux.
Quelle méthode d'évaluation d'agents choisir ?
| Votre question | Approche |
|---|---|
| « L'agent a-t-il accompli la tâche ? » | Étiquette de réussite de la trajectoire |
| « Où exactement s'est-il trompé ? » | Taxonomie d'erreurs au niveau de l'étape |
| « Quelle version est la meilleure ? » | Comparaison par paires |
| « Quelle est sa qualité sur plusieurs axes ? » | Évaluation par grille (rubric) |
| « La réponse fondée sur le contexte récupéré est-elle fidèle ? » | Évaluation RAG |
| « Quel agent de l'équipe a causé l'échec ? » | Attribution multi-agents |
| « L'agent d'usage informatique a-t-il cliqué au bon endroit ? » | Examen de trajectoire GUI |