Übereinstimmung über Geometrie
Wie Potato zufallskorrigierte Übereinstimmung für Bounding Boxes und Polygone berichtet — Detektion, Klassifikation und Lokalisierung, mit σ und einer KS-Statistik gegen eine empirische Zufallsbasis.
Potato zerlegt räumliche Übereinstimmung in drei Fragen — haben Annotierende dieselben Objekte gefunden, sie gleich benannt und an dieselbe Stelle gesetzt — und beantwortet die dritte gegen eine empirisch geschätzte Zufallsbasis statt mit rohem IoU.
Das Problem mit rohem IoU
CVATs Konsens-Engine und V7s Konsensstufe vergleichen Annotierende beide mit rohem IoU gegen eine klassenweise Schwelle. Keine von beiden wendet eine Zufallskorrektur an, was die Kennzahl für sich genommen uninterpretierbar macht:
Ein Korpus, in dem jedes Bild ein großes, zentriertes Objekt enthält, zeigt ein mittleres IoU um 0,95, ganz gleich wer annotiert. Das schließt Annotierende ein, die das Bild nie ansahen und einfach eine Box in die Mitte zeichneten.
Die Zufallskorrektur trennt „diese Annotierenden stimmen überein" von „diese Aufgabe ist zu leicht, um uneins zu sein".
Krippendorffs α über 1 − IoU funktioniert hier nicht
Das war ursprünglich der Plan und ist empirisch die falsche Voreinstellung.
Braylan, Alonso und Lease (WWW 2022) bewerten Kandidaten für Distanzfunktionen danach, ob der resultierende Übereinstimmungswert die Qualität der Annotierenden richtig ordnet — die Eigenschaft, auf die es ankommt — und berichten, dass α bei Bounding Boxes schlichtes L2 (0,687) über IoU (0,505) und GIoU (0,507) stellt und damit die Reihenfolge umkehrt, die sowohl ihre eigenen verteilungsbasierten Maße als auch Praktiker angeben.
Dafür gibt es einen strukturellen Grund. Die IoU-Distanz ist auf [0, 1] beschränkt und sättigt: Zwei zufällig gepaarte Formen haben fast immer IoU 0, sodass die erwartete Uneinigkeit auf etwa 1 zusammenfällt und α zu 1 − mittlere Distanz degeneriert, ohne dass eine funktionierende Zufallskorrektur übrig bleibt.
Schlichtes IoU ist außerdem flach genau dort, wo es am meisten zählt. Zwei Boxen ohne Überlappung erhalten 0, ob sie sich berühren oder an gegenüberliegenden Bildecken liegen; das Maß hat also keinen Gradienten genau dort, wo Annotierende uneins sind.
Was Potato stattdessen berichtet
σ, das primäre Maß
σ = 1 − mean(within-item distance) / mean(between-item distance)
Das ist die α-eigene Form 1 − D_o/D_e, verallgemeinert auf eine beliebige Distanz, wobei die Zufallsbasis empirisch geschätzt wird, indem Annotationen verschiedener Elemente verglichen werden.
| σ | Bedeutung |
|---|---|
| 1,0 | Vollständige Übereinstimmung |
| 0,0 | Annotierende stimmen nicht stärker überein als bei unverwandten Elementen |
| unter 0 | Systematische Uneinigkeit, meist ein Definitionsproblem statt Nachlässigkeit |
Negative Werte werden nicht abgeschnitten. „Auf demselben Bild weiter auseinander als auf verschiedenen Bildern" ist ein realer, diagnostizierbarer Zustand, und ihn zu verbergen hilft niemandem.
KS, das begleitende Maß
Die Zwei-Stichproben-Kolmogorow-Smirnow-Statistik zwischen den Verteilungen der Distanzen innerhalb und zwischen Elementen. σ vergleicht zwei Mittelwerte und kann von wenigen Ausreißern gezogen werden; KS vergleicht ganze Verteilungen und hält besser stand, wenn die Schwierigkeit der Elemente schwankt.
Berichten Sie beide. Dass sie sich widersprechen, ist selbst informativ: Es bedeutet, dass eine Minderheit der Elemente den Großteil der Uneinigkeit trägt.
Die Zerlegung
Eine einzelne räumliche Übereinstimmungszahl kann nicht sagen, welcher von drei verschiedenen Fehlern auftrat:
| Komponente | Frage | Maß |
|---|---|---|
| Detektion | Haben sie überhaupt dieselben Objekte gefunden? | nominales α über Vorhandensein |
| Klassifikation | Haben sie zugeordneten Objekten dasselbe Label gegeben? | nominales α über Labels |
| Lokalisierung | Liegen zugeordnete Objekte an derselben Stelle? | σ und KS, dazu GIoU-Distanz |
Eine annotierende Person, die jedes Objekt findet und alle falsch labelt, ist ein anderes Problem als eine, die korrekt labelt, aber locker umrandet — und ein zusammengefasster Wert kann beide nicht unterscheiden.
Konfiguration
agreement_metrics:
enabled: trueDie Berichte erscheinen unter /admin/iaa.