Potato 2.7: Messen, wie Labels entstehen

Ein Annotationswerkzeug sammelt Labels. Das ist die Aufgabe, und Potato erledigt sie seit 2022. Aber ein Label ist das Ergebnis einer Entscheidung, und über den größten Teil des vergangenen Jahrzehnts blieb die Entscheidung selbst unsichtbar: Man bekommt die Antwort, nicht die Überlegung, die Sicherheit oder die Uneinigkeit, aus der sie hervorgegangen ist.

Potato 2.7 beruht auf einer Idee. Ein Annotationswerkzeug sollte messen, wie Urteile zustande kommen, und nicht nur festhalten, wie sie ausgefallen sind. Das gilt für beide Sorten von Urteilenden: die Menschen, die annotieren, und die KI-Modelle, die bewertet werden.

Potato 2.7

Labels mit Fehlerbalken

Die Psychometrie-Engine passt ein Modell der Item-Response-Theorie an, während die Annotationen eintreffen, und schätzt die Fähigkeit jedes Annotators und die Schwierigkeit jedes Elements allein aus dem Übereinstimmungsmuster. Keine Gold-Labels, kein LLM.

Statt sarcastic (2 of 3 votes) steht im Export sarcastic, p = 0.94 [0.88 – 0.97]. Die Wahrscheinlichkeit gewichtet, wer abgestimmt hat, nicht nur, wie viele.

assignment_strategy: psychometric
psychometrics:
  enabled: true
  confidence_threshold: 0.95   # items above this stop consuming budget

Aus dem Modell folgen zwei Dinge. Elemente, deren Posterior-Wahrscheinlichkeit bereits sicher ist, werden nicht mehr ausgeliefert, sodass die Redundanz dorthin geht, wo sie wirklich gebraucht wird. Und wenn die Trennschärfe eines Elements negativ wird, ausgerechnet die besten Annotatoren also der Menge widersprechen, liegt das meist an einer kaputten Richtlinie und nicht an einem schlechten Annotator. Das Dashboard markiert es als wahrscheinliches Codebuch-Problem.

Das Kalibrierungstreffen, im Werkzeug selbst

Jedes Annotationsteam hält Norming-Sitzungen ab, fast immer per Bildschirmfreigabe, und das Ergebnis landet in den Notizen von irgendjemandem. Multiplayer-Räume holen diese Sitzung nach Potato und instrumentieren sie.

Alle stimmen blind ab. Der Host deckt auf. Die Gruppe diskutiert. Jeder darf seine Stimme ändern, und jede Änderung nach der Aufdeckung wird gegen die Mehrheit in diesem Moment protokolliert, was ein Konformitätsprotokoll pro Mitglied ergibt. Eine Live-Anzeige von Krippendorffs α läuft zugleich über die blinden und die aktuellen Stimmen, sodass der Abstand zwischen beiden zeigt, was die Diskussion tatsächlich gebracht hat, während sie noch läuft.

Huddle-Räume füllen sich selbst mit den Elementen, bei denen das Team derzeit uneinig ist. In Shadow-Räumen sehen Angelernte einem erfahrenen Annotator bei der Arbeit zu, Hervorhebungen inklusive.

Qualitätskontrolle ohne Gold-Labels

Zwei Funktionen gehen dasselbe Problem aus verschiedenen Richtungen an, und keine von beiden schleust ein gefälschtes Element ein.

Truth Serum stellt nach jedem Label eine zusätzliche Frage: Welcher Prozentsatz der anderen Annotatoren wird dasselbe wählen wie du? Diese Vorhersagen speisen den Schätzer der überraschend beliebten Antwort (Prelec, Seung & McCoy 2017, Nature), der die Mehrheitsentscheidung genau dort schlägt, wo Annotation schwierig ist: wenn eine selbstsichere Menge falschliegt und eine informierte Minderheit recht hat. Soweit wir wissen, ist Potato das erste Annotationswerkzeug mit Peer-Prediction-Bewertung.

Boundary Lab zeigt direkt nach einem vergebenen Label eine minimale kontrafaktische Änderung und fragt, ob das Label sie übersteht. Die Antwort kostet einen Klick, und gewöhnliche Annotation wirft nebenbei Kontrastmengen ab (Gardner et al. 2020). Manche Sonden sind bedeutungserhaltende Paraphrasen, und wer bei denen kippt, sagt damit etwas aus, ohne dass ein einziges Gold-Element eingeschleust wurde.

Menschliches Denken, wortgetreu festgehalten

Im Think-Aloud-Modus sprechen Annotatoren, während sie arbeiten. Die Spracherkennung läuft lokal über faster-whisper, es verlässt also nichts den Rechner, und Kosten pro Token fallen nicht an. Das Transkript wird wortgetreu und bewusst ohne Zusammenfassung gespeichert, denn wer ein Lautes-Denken-Protokoll paraphrasiert, zerstört genau das Artefakt, das er sammeln wollte.

Es geht nicht nur um Begründungen. Das ist eine Aufzeichnung davon, wie ein Mensch zu einem Label kommt, das menschliche Gegenstück zum Prozessbelohnungs-Werkzeug, das zerlegt, wie ein Modell schlussfolgert. Dasselbe Element, zwei Gedankenketten.

Zwei weitere, und dann die Agenten

Der Paper-Modus macht aus einem Projekt mit einem Befehl einen kompilierbaren LaTeX-Datensatzbericht: Label-Verteilungen, eine Annotatorentabelle, Übereinstimmungsstatistiken mit den richtigen Zitationen, Zeitmessungen und einen ehrlichen Abschnitt zu den Einschränkungen, mit echten Zahlen darin.

python -m potato.paper config.yaml -o paper_export

Der Pocket-Modus macht mobile Annotation vollwertig: Touch-Geräte bekommen einen wischbaren Kartenstapel mit Schaltflächen in der Daumenzone und Offline-Synchronisierung. Aufgaben, die wirklich einen Desktop brauchen (Spans, Bounding-Boxen, Video), werden nie auf ein Telefon heruntergebrochen. Sie bekommen stattdessen eine Warnung.

KI-Agenten bewerten

Die andere Hälfte von 2.7 richtet dieselbe Haltung auf Modelle. Die Suite zur Agentenbewertung annotiert einen Multi-Agenten-Lauf jetzt als Team statt als flaches Transkript: ein anklickbarer Interaktionsgraph, Fehlerzuordnung über Agenten hinweg, Übergabe-Review, Scorecards je Agent und fürs Team, eine Zeitleiste der Werkzeugkonflikte und die Kennzeichnung emergenten Verhaltens über Agenten hinweg.

Multimodale Agenten bekommen eigene Oberflächen: GUI- und Computer-Use-Trajektorien mit Klick-Verortung, Voll-Duplex-Sprachzeitleisten mit Erkennung von Unterbrechungen, zeitliche Verortung in Videos mit Live-IoU und die Struktur von Dokumenttabellen.

Wer lieber die Anleitung als die Liste möchte: Wir haben eine zum Debuggen von Multi-Agent-Fehlern geschrieben.

Wo sich die beiden Hälften treffen

Es ist dieselbe Idee, gerichtet auf zwei verschiedene Urteilende, und 2.7 verdrahtet sie miteinander.

Think-Aloud hält fest, wie ein Mensch zu einem Label kommt. Die Prozessbelohnungsannotation hält Schritt für Schritt fest, wie ein Modell schlussfolgert. Nebeneinandergelegt beim selben Element zeigt sich, wo menschliches und maschinelles Urteil auseinandergehen.

Und ein LLM-Judge ist nur so vertrauenswürdig wie die menschlichen Labels, gegen die er validiert wurde. Das Dashboard zur Übereinstimmung von Judge und Mensch zeigt, wie gut der Judge mit Menschen übereinstimmt; Psychometrie und Truth Serum geben den Labels dieser Menschen Konfidenzintervalle. Aus „der Judge stimmt mit Menschen überein" wird damit statt eines Gefühls eine Aussage mit Intervall.

Alles Übrige

Dokumentübergreifende Ereignisannotation, Annotation auf Turn-Ebene über Gespräche und Traces, ein Codebuch als lebendes Dokument mit ganzseitigem Editor, seitenübergreifende Verknüpfungen in PDFs mit optionalem OCR, RBAC-Rollen mit Schemata je Kohorte sowie Admin- und Annotator-Dashboards in zehn Sprachen.

Auch die Installation ist leichter geworden. Die AI-SDKs werden jetzt verzögert geladen, ein einfaches pip install potato-annotation zieht also gar kein AI-SDK mit, und die Startzeit sinkt von etwa 2,0 auf 0,7 Sekunden.

Wie man es bekommt

pip install --upgrade potato-annotation

Potato ist kostenlos, quelloffen unter GPL-3.0-or-later und selbst hostbar. Die sieben genannten Funktionen sind optional, aufgabenunabhängig, und keine davon braucht ein LLM. Das zählt, wenn die eigenen Daten die Einrichtung nicht verlassen dürfen oder das Budget keine Abrechnung pro Token verkraftet.

Potato 2.0 wurde auf der ACL 2026 veröffentlicht (System Demonstrations). Wer Potato in der eigenen Forschung nutzt, sollte dieses Paper zitieren.

Am besten mit dem Schnellstart beginnen, was neu ist durchsehen oder die vertiefenden Beiträge zu Labels mit Fehlerbalken und Qualitätskontrolle ohne Gold-Labels lesen.