Skip to content

Messung und Integrität

Potato berichtet zufallskorrigierte Übereinstimmung über Geometrie, Zeit, 3D-Quader, Bildunterschriften und Bruchpunkte von Weltmodellen und hält fest, wie die Annotationen entstanden sind. Überblick über die Messebene.

Zu jedem Annotationstyp in Potato gehört ein Weg zu messen, ob Annotierende übereinstimmen, zufallskorrigiert und mit benannten Grenzen des Verfahrens. Das gilt auch für die räumlichen und zeitlichen Typen, wo der Branchenstandard rohes IoU oder prozentuale Übereinstimmung ist und keines von beidem zufallskorrigiert.

Dieser Abschnitt behandelt beide Hälften der Frage: ob die Labels übereinstimmen, und wie sie entstanden sind.

Der rote Faden

FrageMaß
Haben Annotierende dieselben Objekte gefunden?Detektions-α
Haben sie sie gleich benannt?Klassifikations-α
Haben sie sie an dieselbe Stelle gesetzt?σ und KS gegen eine empirische Zufallsbasis
Welcher Maske vertrauen wir?STAPLE
Stimmen sie überein, wann ein Ereignis beginnt?zeitliches IoU und Grenz-α
Stimmen sie bei einer 3D-Box überein?exaktes rotiertes 3D-IoU
Beschreiben sie eine Region gleich?α mit einem semantischen Abstand über Text
Stimmen sie überein, wann die Welt brach?Bruchpunkt-Übereinstimmung mit Toleranz-Sweep
Ist eine annotierende Person kompetent?MACE, für die wirklich kategorialen Teile

Warum Zufallskorrektur

Rohe Übereinstimmung ist immer dann überhöht, wenn eine Antwort dominiert, und fast immer dominiert eine Antwort.

Am deutlichsten ist der räumliche Fall. Ein Korpus, in dem jedes Bild ein großes, zentriertes Objekt enthält, zeigt ein mittleres IoU um 0,95, ganz gleich wer annotiert. Das schließt Annotierende ein, die das Bild nie angesehen und einfach eine Box in die Mitte gezeichnet haben. Die Zufallskorrektur trennt „diese Annotierenden stimmen überein" von „diese Aufgabe ist zu leicht, um uneins zu sein".

Die meisten Annotationsplattformen berichten Übereinstimmung als rohes IoU, exakte Übereinstimmung oder Prozentwert gegen einen Ground-Truth-Job. Das sind nützliche Zahlen, die eine andere Frage beantworten. Wir haben keine andere Annotationsplattform gefunden, die überhaupt einen zufallskorrigierten Koeffizienten für räumliche Labels berichtet.

Zwei Entwurfseigenschaften

Undefinierte Werte erklären sich selbst. α ist auf einem einstimmigen Korpus tatsächlich undefiniert. Ein nacktes NaN liest sich wie eine kaputte Berechnung, und eine 1.0 wäre gelogen, deshalb sagt der Bericht in Worten, welcher Fall vorliegt.

Nichts wird stillschweigend abgeschnitten. Ein Bericht, der sein Budget für paarweise Vergleiche erreicht, sagt das und nennt die Zahl der einbezogenen Elemente. Eine Zahl, die über eine Stichprobe berechnet wurde und sich als über alles berechnet ausgibt, ist schlechter als gar keine Zahl.

Der Fehler, wegen dem es diese Ebene gibt

Die Adjudication verglich die Schlüssel einer Annotation, und ein Bildschema speichert alles unter einem einzigen Schlüssel namens _data. Jedes Bildpaar erhielt daher 1,0 Übereinstimmung: Zwei Annotierende, die in nichts übereinstimmten, sahen einstimmig aus, und kein Bild wurde je zur Prüfung weitergeleitet.

Das ist behoben, und es ist der Grund, warum die Übereinstimmungsebene in jeden Annotationstyp eingebaut statt obendrauf gesetzt ist.

Wie die Daten entstanden sind

Übereinstimmung kann nicht erfassen, dass zwei Annotierende sich selbstsicher auf das Falsche einigen, und ebenso wenig ein ungelesen übernommenes Vorab-Label. Zwei Werkzeuge greifen das auf:

  • Die Zeichen-Telemetrie erfasst Zeit pro Form, Strichdynamik, Anzahl der Überarbeitungen und die Latenz beim Annehmen von KI-Vorschlägen.
  • Das Tastendruck-Logging ist das Gegenstück auf der Textseite, für die Entstehung einer Freitextantwort.

Beides ist opt-in, und Annotierende sehen einen Aufzeichnungshinweis.

Vertrauen und Deployment

Verwandt