Skip to content

Evaluación de agentes web

Cómo evaluar agentes que navegan por la web con capturas de pantalla y superposiciones de acciones, juzgando la corrección de cada acción web paso a paso, con la vista de agentes web de Potato.

Un agente web completa tareas navegando, haciendo clic, escribiendo y desplazándose por las páginas. Evaluarlo consiste en mirar lo que vio (la captura de pantalla) y lo que hizo (la acción) en cada paso, y juzgar si esa acción fue correcta. Potato muestra las capturas con superposiciones visuales de cada acción para que los anotadores puedan revisar una sesión de navegación como si fuera una tira de fotogramas.

Es la contraparte de evaluación humana de pruebas de referencia como WebArena y Mind2Web. Consulta Anotación de agentes web.

Qué ve el anotador

La vista de agentes web de Potato muestra, en cada paso:

  • la captura de pantalla de la página en ese momento,
  • una superposición que marca la acción: un círculo donde hizo clic, un recuadro sobre el campo en el que escribió, una flecha para un desplazamiento,
  • la descripción de la acción y cualquier elemento objetivo,
  • una tira de fotogramas para moverse entre pasos.

Qué juzgar en cada paso

  • ¿Objetivo correcto? ¿Hizo clic o escribió en el elemento adecuado?
  • ¿Tipo de acción correcto? Clic frente a escribir, desplazarse o navegar.
  • ¿Hubo avance? ¿El paso hizo progresar la tarea o desperdició un turno?
yaml
annotation_schemes:
  - annotation_type: per_turn_rating
    name: web_action_correctness
    description: "Judge each browsing action against the task."
    target: agentic_steps
    rating_type: radio
    labels: ["Correct", "Wrong target", "Wrong action", "No progress"]

Cómo configurar la vista

Apunta Potato a una traza de agente web (capturas más acciones) y activa la vista de agentes web. Las trazas pueden provenir de exportaciones de WebArena/VisualWebArena o de tus propias ejecuciones en forma de HAR más capturas. Consulta Anotación de agentes web para conocer el esquema de la traza.

Consideraciones de calidad

  • Las capturas deben ser legibles; fija un ancho máximo razonable y evita que las superposiciones tapen el objetivo.
  • Las sesiones largas fatigan a los anotadores; la tira de fotogramas y los números de paso les ayudan a no perder el hilo.
  • Para el éxito global de la tarea, añade una etiqueta a nivel de trayectoria por encima de las valoraciones paso a paso. Consulta Anotar trayectorias de agentes.

Lecturas adicionales