Skip to content

Évaluation d'agents en direct

Comment évaluer un agent d'IA en temps réel : mettre en pause, envoyer des instructions, prendre la main, revenir en arrière et créer des branches, avec la vue d'agent en direct de Potato.

La plupart des évaluations d'agents passent en revue une trace enregistrée. L'évaluation en direct observe l'agent qui s'exécute en temps réel et permet à une personne d'intervenir : le mettre en pause, lui envoyer des instructions, prendre la main ou revenir en arrière pour essayer un autre chemin. Pour l'évaluation d'agents avec intervention humaine sur votre propre serveur, Potato est un outil open source qui capte ce qu'un enregistrement ne peut pas saisir : l'endroit où une personne serait intervenue, et à quoi ressemble une meilleure orientation.

Pour la référence de la fonction, voir Évaluation d'agents en direct et Agent de codage en direct.

Qu'apporte l'évaluation d'agents en direct ?

  • Mettre en pause et reprendre : arrêtez l'agent en cours de tâche pour inspecter son état.
  • Envoyer des instructions : orientez-le par une consigne et observez comment il s'adapte.
  • Prendre la main : pilotez manuellement, puis rendez le contrôle. Les points de passage de relais sont des étiquettes précieuses.
  • Revenir en arrière et créer des branches : revenez à une étape antérieure et essayez une alternative, en comparant les chemins à partir du même état.

Cela produit des données interventionnelles, des contrefactuels sur ce qui aide, et pas seulement des étiquettes observationnelles.

Comment configurer l'évaluation d'agents en direct dans Potato ?

Le mode en direct connecte Potato à un agent en cours d'exécution via un endpoint (un proxy compatible OpenAI, un endpoint HTTP personnalisé ou un backend d'agent de codage). L'annotateur interagit à travers la vue d'agent en direct.

yaml
live_agent:
  endpoint_type: anthropic_vision   # or coding_agent, openai_proxy, ...
  ai_config:
    model: claude-sonnet-4-20250514
    api_key: ${ANTHROPIC_API_KEY}
  max_steps: 30
  allow_takeover: true
  allow_instructions: true

Quand devrais-je utiliser l'évaluation d'agents en direct ?

  • Élaborer des consignes : observer en direct révèle les modes de défaillance qu'il vaut la peine de coder dans une taxonomie pour l'étiquetage par lots ultérieur.
  • Tâches interactives : assistants de conversation et agents qui utilisent des outils, où c'est l'interaction, et pas seulement la transcription, que vous jugez.
  • Tests de résistance : sonder la façon dont un agent se remet d'une consigne ou d'un détour imposé.

L'évaluation en direct demande plus d'intervention humaine et offre un débit plus faible que la revue de traces enregistrées ; elle convient donc mieux à un échantillon ciblé ou à la conception de la tâche par lots. Pour le volume, passez à l'annotation de trajectoires sur des exécutions enregistrées.

Pour aller plus loin