Skip to content

Web-Agenten-Evaluation

Wie du browsende Agenten mit Screenshots und eingeblendeten Aktionen bewertest: Korrektheit jeder Web-Aktion Schritt für Schritt, in der Web-Agenten-Anzeige von Potato.

Ein Web-Agent erledigt Aufgaben, indem er browst, klickt, tippt und über Seiten scrollt. Ihn zu evaluieren heißt, sich bei jedem Schritt anzusehen, was er gesehen hat (den Screenshot) und was er getan hat (die Aktion), und dann zu beurteilen, ob diese Aktion richtig war. Potato stellt die Screenshots mit eingeblendeten Markierungen jeder Aktion dar, sodass sich eine Browsing-Sitzung wie ein Filmstreifen durchgehen lässt.

Das ist das menschliche Gegenstück zu Benchmarks wie WebArena und Mind2Web. Siehe Web-Agenten-Annotation.

Was die annotierende Person sieht

Die Web-Agenten-Anzeige von Potato zeigt für jeden Schritt:

  • den Screenshot der Seite in diesem Moment,
  • eine Einblendung, die die Aktion markiert, ein Kreis dort, wo geklickt wurde, ein Rahmen um das beschriebene Feld, ein Pfeil für einen Scroll,
  • die Beschreibung der Aktion samt Zielelement,
  • einen Filmstreifen, um zwischen den Schritten zu wechseln.

Was du pro Schritt beurteilst

  • Richtiges Ziel? Wurde auf das richtige Element geklickt bzw. dort getippt?
  • Richtige Art von Aktion? Klicken, Tippen, Scrollen oder Navigieren.
  • Fortschritt? Hat der Schritt die Aufgabe vorangebracht oder einen Zug verschenkt?
yaml
annotation_schemes:
  - annotation_type: trajectory_eval
    name: web_action_correctness
    description: "Judge each browsing action against the task."
    steps_key: agentic_steps
    correctness_options: ["Correct", "Wrong target", "Wrong action", "No progress"]

Die Anzeige einrichten

Zeig Potato auf einen Web-Agenten-Trace (Screenshots plus Aktionen) und schalte die Web-Agenten-Anzeige ein. Die Traces können aus Exporten von WebArena bzw. VisualWebArena stammen oder aus deinen eigenen Läufen als HAR plus Screenshots. Das Trace-Schema steht unter Web-Agenten-Annotation.

Worauf du bei der Qualität achtest

  • Screenshots müssen lesbar sein. Setz eine sinnvolle maximale Breite und achte darauf, dass die Einblendungen das Ziel nicht verdecken.
  • Lange Sitzungen ermüden. Filmstreifen und Schrittnummern helfen den Annotierenden, den Überblick zu behalten.
  • Für den Gesamterfolg der Aufgabe kommt zusätzlich zu den Bewertungen je Schritt ein Label auf Ebene der Trajektorie dazu. Siehe Annotieren von Agenten-Trajektorien.

Weiterführende Lektüre