Zum Inhalt springen

So messen Sie die Inter-Annotator-Übereinstimmung bei Bounding Boxes

Rohes IoU ist keine Übereinstimmung. Wie sich zufallskorrigiert messen lässt, ob Annotierende bei Bounding Boxes, Polygonen und Masken übereinstimmen, und warum Detektion, Klassifikation und Lokalisierung getrennte Zahlen brauchen.

Das mittlere IoU zwischen Annotierenden misst, wie leicht die Aufgabe ist, nicht, wie sehr sie übereinstimmen. Auf einem typischen Detektionskorpus liegt es bei etwa 0,95, selbst bei Annotierenden, die das Bild nie angesehen haben. Übereinstimmung bei räumlichen Labels zu messen heißt, um den Zufall zu korrigieren und Detektion, Klassifikation und Lokalisierung als getrennte Zahlen zu berichten.

Warum rohes IoU in die Irre führt

Nehmen Sie einen Korpus, in dem jedes Bild ein großes, zentriertes Objekt enthält. Zwei Annotierende, die beide eine Box in die Mitte zeichnen, überlappen stark, sodass das mittlere IoU bei etwa 0,95 liegt. Das gilt auch für eine Person, die eine Box in die Mitte gezeichnet hat, ohne hinzusehen.

Die Zahl misst die Aufgabe, nicht die Annotierenden. Das ist dasselbe Problem, das die prozentuale Übereinstimmung bei kategorialen Labels hat, wo eine dominante Klasse den Wert aufbläht, und die Abhilfe ist dieselbe: um die Übereinstimmung korrigieren, die die Aufgabe zufällig erzeugt.

Die Konsens-Engine von CVAT und die Konsensstufe von V7 vergleichen Annotierende beide mit rohem IoU gegen eine klassenweise Schwelle. Keine von beiden wendet eine Zufallskorrektur an, und beide sind weit verbreitet, sodass sich eine berichtete „Übereinstimmung von 0,9" aus einer der beiden meist mit nichts vergleichen lässt.

Warum nicht Krippendorffs α über 1 − IoU

Die naheliegende Lösung ist, die IoU-Distanz in Krippendorffs α einzusetzen, das jede Distanzfunktion akzeptiert. Hier funktioniert das nicht gut, und der Grund ist wissenswert, bevor Sie es bauen.

Braylan, Alonso und Lease (WWW 2022) bewerten Distanzfunktionen danach, ob der resultierende Wert die Qualität der Annotierenden richtig ordnet. Bei Bounding Boxes stellt α schlichtes L2 (0,687) über IoU (0,505) und GIoU (0,507), was die Reihenfolge umkehrt, die sowohl ihre verteilungsbasierten Maße als auch Praktiker angeben.

Strukturell gilt: Die IoU-Distanz ist auf [0, 1] beschränkt und sättigt. Zwei zufällig gepaarte Boxen haben fast immer IoU 0, sodass die erwartete Uneinigkeit auf etwa 1 zusammenfällt und α zu 1 − mean distance degeneriert, ohne dass eine Zufallskorrektur übrig bleibt. IoU ist außerdem flach, wo es zählt: Zwei Boxen ohne Überlappung erhalten 0, ob sie sich berühren oder an gegenüberliegenden Ecken liegen, sodass es genau dort keinen Gradienten gibt, wo Annotierende uneins sind.

Was Sie stattdessen berichten sollten

Die Frage dreifach aufteilen

KomponenteFrageMaß
DetektionHaben sie überhaupt dieselben Objekte gefunden?Nominales α über das Vorhandensein
KlassifikationHaben sie zugeordneten Objekten dasselbe Label gegeben?Nominales α über Labels
LokalisierungLiegen zugeordnete Objekte an derselben Stelle?σ und KS

Wer jedes Objekt findet und alle falsch benennt, ist ein anderes Problem als jemand, der richtig labelt, aber locker boxt. Ein kombinierter Wert kann nicht sagen, welches von beiden vorliegt, und die beiden haben unterschiedliche Abhilfen.

σ, mit einer empirischen Zufallsbasis

text
σ = 1 − mean(within-item distance) / mean(between-item distance)

Das ist die Form 1 − D_o/D_e von α, verallgemeinert auf jede Distanz, wobei die Zufallsbasis geschätzt wird, indem Annotationen verschiedener Items verglichen werden. σ = 0 bedeutet, dass Annotierende nicht stärker übereinstimmen als bei unverwandten Bildern.

Schneiden Sie negative Werte nicht ab. „Auf demselben Bild weiter auseinander als auf verschiedenen Bildern" ist ein realer Zustand und bedeutet fast immer, dass die Richtlinien mehrdeutig sind, nicht dass die Annotierenden nachlässig sind.

KS daneben

Die Zwei-Stichproben-Statistik nach Kolmogorow-Smirnow zwischen den Verteilungen der Distanzen innerhalb und zwischen Items. σ vergleicht zwei Mittelwerte und kann von wenigen Ausreißern gezogen werden; KS vergleicht ganze Verteilungen.

Berichten Sie beide. Wenn sie sich widersprechen, trägt eine Minderheit der Items den Großteil der Uneinigkeit, und Sie sollten sich diese Items ansehen.

Masken brauchen ein anderes Werkzeug

Bei Pixelmasken ist die Frage „wessen Grenze halten wir fest" nicht dieselbe wie „stimmen sie überein". Verwenden Sie STAPLE (Warfield, Zou und Wells, 2004), das eine Expectation-Maximization über Labels pro Pixel ausführt und pro Annotierendem eine Sensitivität und eine Spezifität schätzt.

Sensitivität und Spezifität werden getrennt berichtet, weil sie entgegengesetzte Abhilfen haben: Niedrige Sensitivität bedeutet Untersegmentierung, niedrige Spezifität Übersegmentierung, und eine einzelne Genauigkeitszahl bewertet beides gleich.

STAPLE schlägt außerdem eine Mehrheitsabstimmung, wenn sorgfältige Annotierende überstimmt werden. Bei zwei sorgfältigen gegen drei fahrige Annotierende erzielt die Mehrheitsabstimmung ein Dice von 0,846 gegenüber der Wahrheit und STAPLE 1,000.

3D-Boxen brauchen exaktes rotiertes IoU

Verwenden Sie für Quader exaktes rotiertes 3D-IoU. Eine achsenparallele Näherung meldet Uneinigkeit, die ein Artefakt des Maßes ist, sobald die Daten echten Pitch und Roll haben, wie es Drohnen-, Handheld- und Innenraum-Scans alle tun.

In Potato umsetzen

yaml
agreement_metrics:
  enabled: true
 
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Draw a tight box around every vehicle."
    source_field: image
    tools: [bbox]
    labels:
      - {name: car, color: "#FF6B6B"}
      - {name: truck, color: "#4ECDC4"}
 
num_annotators_per_item:
  default: 2

Berichte erscheinen unter /admin/iaa. Zwei Eigenschaften sind wissenswert:

  • Undefinierte Werte erklären sich selbst. α ist auf einem einstimmigen Korpus tatsächlich undefiniert. Ein bloßes NaN wirkt wie eine kaputte Berechnung, und eine 1.0 wäre eine Lüge.
  • Nichts wird stillschweigend gekürzt. Der paarweise Vergleich wächst quadratisch mit der Zahl der Annotierenden und der Instanzen pro Item, daher gibt es ein Budget. Wird es erreicht, wird das Item ganz übersprungen statt halb vermessen, und der Bericht nennt, wie viele Items einbezogen wurden.

Checkliste

  1. Holen Sie mindestens zwei unabhängige Annotationen pro Item ein. Übereinstimmung über eine einzelne Person ist undefiniert, nicht perfekt.
  2. Berichten Sie Detektion, Klassifikation und Lokalisierung getrennt.
  3. Korrigieren Sie um den Zufall gegen eine empirisch geschätzte Basis statt gegen eine feste Schwelle.
  4. Berichten Sie σ und KS gemeinsam.
  5. Verwenden Sie STAPLE für Masken und rotiertes 3D-IoU für Quader.
  6. Geben Sie die Abdeckung an. Eine Zahl, die über eine Stichprobe berechnet wurde und sich als vollständig ausgibt, wird als vollständig zitiert werden.