Skip to content

Évaluation des agents de programmation

Comment évaluer des agents de programmation en examinant les diffs, la sortie du terminal et les traces SWE-bench/Aider/Claude Code, grâce à l'affichage des traces de programmation de Potato.

Un agent de programmation édite des fichiers, exécute des commandes et lit la sortie pour résoudre une tâche de programmation. L'évaluer revient à examiner une pull request qui inclut aussi la session de terminal : vous jugez les changements de code et les étapes qui les ont produits. Annotez les trajectoires de SWE-agent, Aider et Claude Code avec Potato, un outil gratuit et auto-hébergé qui affiche les diffs et les blocs de terminal pour la revue.

Cela vient en complément des bancs d'essai automatisés comme SWE-bench ; la revue humaine repère le correctif plausible mais erroné qui passe un test faible.

Qu'examine l'annotateur dans une exécution d'agent de programmation ?

  • Diffs : diffs unifiés avec code couleur de chaque changement de fichier, avec numéros de ligne et une barre latérale d'arborescence des fichiers.
  • Commandes et sortie : blocs de terminal montrant ce que l'agent a exécuté et ce qui en est revenu.
  • Raisonnement : les réflexions de l'agent entre les actions.

Potato lit les traces d'agents de programmation aux formats SWE-bench, Aider et Claude Code. Voir Annotation d'agents de programmation et Annotation de revue de code.

Que dois-je juger dans une exécution d'agent de programmation ?

  • Exactitude : le changement résout-il la tâche sans casser autre chose ?
  • Qualité des étapes : chaque édition/commande était-elle pertinente, ou était-ce du tâtonnement ?
  • Efficacité : a-t-il suivi un chemin raisonnable ?
yaml
annotation_schemes:
  - annotation_type: per_turn_rating
    name: step_correctness
    description: "Judge each edit or command."
    target: agentic_steps
    rating_type: radio
    labels: ["Correct", "Partially correct", "Incorrect", "Unnecessary"]
  - annotation_type: radio
    name: overall
    description: "Does the final change solve the task?"
    labels: [Solved, Partially solved, Not solved]

Comment garder fiable l'évaluation des agents de programmation ?

  • Donnez aux annotateurs la description de la tâche et le contexte du dépôt ; un diff n'a aucun sens sans l'objectif.
  • Pour les chaînes de raisonnement repérant la première erreur, voir Modèles de récompense de processus.
  • Pour observer un agent programmer en temps réel plutôt que d'examiner un enregistrement, voir Évaluation d'agents en direct.

Pour aller plus loin