Skip to content

Valutazione di agenti web

Come valutare gli agenti che navigano il web con screenshot e azioni sovrapposte, giudicando la correttezza di ogni azione con la vista per agenti web di Potato.

Un agente web porta a termine i task navigando: clicca, scrive, scorre le pagine. Valutarlo vuol dire guardare a ogni passo che cosa ha visto (lo screenshot) e che cosa ha fatto (l'azione), e giudicare se quell'azione era quella giusta. Potato mostra gli screenshot con le azioni sovrapposte, così l'annotatore ripercorre una sessione di navigazione come una sequenza di fotogrammi.

È la controparte umana di benchmark come WebArena e Mind2Web. Vedi Annotazione di agenti web.

Che cosa vede l'annotatore

Per ogni passo, la vista per agenti web di Potato mostra:

  • lo screenshot della pagina in quel momento,
  • una sovrapposizione che segnala l'azione: un cerchio dove ha cliccato, un riquadro sul campo in cui ha scritto, una freccia per lo scorrimento,
  • la descrizione dell'azione e l'eventuale elemento bersaglio,
  • una striscia di fotogrammi per spostarsi tra i passi.

Che cosa giudicare a ogni passo

  • Bersaglio giusto? Ha cliccato o scritto sull'elemento corretto?
  • Tipo di azione giusto? Clic, digitazione, scorrimento o navigazione.
  • Avanzamento? Il passo ha fatto progredire il task o ha sprecato un turno?
yaml
annotation_schemes:
  - annotation_type: trajectory_eval
    name: web_action_correctness
    description: "Judge each browsing action against the task."
    steps_key: agentic_steps
    correctness_options: ["Correct", "Wrong target", "Wrong action", "No progress"]

Configurare la vista

Punta Potato a una traccia di agente web (screenshot più azioni) e attiva la vista per agenti web. Le tracce possono arrivare da export di WebArena/VisualWebArena o dai tuoi run in formato HAR più screenshot. Lo schema della traccia è descritto in Annotazione di agenti web.

Accorgimenti sulla qualità

  • Gli screenshot devono essere leggibili: imposta una larghezza massima ragionevole e fai in modo che le sovrapposizioni non coprano il bersaglio.
  • Le sessioni lunghe stancano gli annotatori; la striscia di fotogrammi e la numerazione dei passi li aiutano a non perdere il segno.
  • Per il successo complessivo del task, aggiungi un'etichetta a livello di traiettoria sopra le valutazioni per passo. Vedi Annotare le traiettorie degli agenti.

Approfondimenti