Skip to content

Evaluación de agentes de programación

Cómo evaluar agentes de programación revisando diffs, salida de terminal y trazas de SWE-bench/Aider/Claude Code, con la visualización de trazas de programación de Potato.

Un agente de programación edita archivos, ejecuta comandos y lee la salida para resolver una tarea de programación. Evaluarlo es como revisar un pull request que además incluye la sesión de terminal: juzgas los cambios de código y los pasos que los produjeron. Anota trayectorias de SWE-agent, Aider y Claude Code con Potato, una herramienta gratuita y autoalojada que renderiza diffs y bloques de terminal para su revisión.

Esto se complementa con bancos de pruebas automatizados como SWE-bench; la revisión humana detecta el parche plausible pero erróneo que pasa una prueba débil.

¿Qué revisa el anotador en una ejecución de un agente de programación?

  • Diffs: diffs unificados con código de color de cada cambio de archivo, con números de línea y una barra lateral con el árbol de archivos.
  • Comandos y salida: bloques de terminal que muestran qué ejecutó el agente y qué devolvió.
  • Razonamiento: los pensamientos del agente entre acciones.

Potato lee trazas de agentes de programación en formatos como SWE-bench, Aider y Claude Code. Consulta Anotación de agentes de programación y Anotación de revisión de código.

¿Qué debo juzgar en una ejecución de un agente de programación?

  • Corrección: ¿el cambio resuelve la tarea sin romper otras cosas?
  • Calidad de los pasos: ¿cada edición/comando tenía sentido o era un palo de ciego?
  • Eficiencia: ¿tomó un camino razonable?
yaml
annotation_schemes:
  - annotation_type: per_turn_rating
    name: step_correctness
    description: "Judge each edit or command."
    target: agentic_steps
    rating_type: radio
    labels: ["Correct", "Partially correct", "Incorrect", "Unnecessary"]
  - annotation_type: radio
    name: overall
    description: "Does the final change solve the task?"
    labels: [Solved, Partially solved, Not solved]

¿Cómo mantengo fiable la evaluación de agentes de programación?

  • Da a los anotadores la descripción de la tarea y el contexto del repositorio; un diff no significa nada sin el objetivo.
  • Para cadenas de razonamiento del primer error, consulta Modelos de recompensa de proceso.
  • Para observar a un agente programar en tiempo real en lugar de revisar una grabación, consulta Evaluación de agentes en directo.

Lecturas adicionales