Zum Inhalt springen

Übereinstimmung über die Zeit

Was Potato berichtet, wenn Annotierende Zeitsegmente und Bruchpunkte markieren, warum die Segment-Übereinstimmung nicht zufallskorrigiert ist und warum die Bruchpunkt-Übereinstimmung als Toleranz-Sweep berichtet wird.

Zwei Annotierende, die den Beginn eines Ereignisses markieren, wählen nicht dasselbe Einzelbild. Zeitliche Übereinstimmung muss deshalb sagen, wie nah als übereinstimmend gilt. Potato beantwortet das für Zeitsegmente und für Bruchpunkte unterschiedlich: Segmente werden über zeitliches IoU oberhalb einer Schwelle einander zugeordnet, Bruchpunkte werden über einen Sweep von Toleranzen berichtet.

Maße für Zeitsegmente

Für Audio- und Videosegmente vergleicht der Übereinstimmungsbericht jedes Paar von Annotierenden auf jedem Element und mittelt vier Zahlen:

FrageMaß
Wie gut stimmen die beiden Segmentmengen insgesamt überein?Mittlere Übereinstimmung, die ungenaue Grenzen, übersehene Segmente und abweichende Labels bestraft
Wie nah liegen die Grenzen, wenn beide Annotierenden das Segment gefunden haben?Mittleres zeitliches IoU der zugeordneten Segmente
Haben sie überhaupt dieselben Segmente gefunden?Detektions-F1 bei der Zuordnungsschwelle, standardmäßig 0,5
Haben sie gleich viele Segmente markiert?Mittlere Differenz der Segmentanzahl

Segmente werden allein über das zeitliche IoU zugeordnet. Labels zählen nur in der mittleren Übereinstimmung, wo ein zugeordnetes Paar mit unterschiedlichen Labels die Hälfte seines IoU erhält. Keine Zahl für sich sagt also, wie oft Annotierende beim Label übereinstimmen. Ein Paar, bei dem keine der beiden Personen etwas markiert hat, wird mitgezählt, aber nicht bewertet, denn zwei leere Antworten sind kein Beleg für Übereinstimmung.

Der Toleranz-Sweep für Bruchpunkte

Bruchpunkte sind einzelne Zeitpunkte, etwa der Moment, in dem eine Roboterepisode schiefgeht. Zwei davon gelten als dieselbe Markierung, wenn sie innerhalb eines Toleranzfensters liegen. Jede Zahl hängt dann von diesem Fenster ab, deshalb berechnet der Bericht zu Roboterepisoden sie bei 0,04, 0,25, 0,5, 1 und 2 Sekunden und zeigt alle fünf.

Eine einzelne Schwelle zu berichten lädt Lesende ein, jene Toleranz anzunehmen, die ihre Schlussfolgerung stützt. Übereinstimmung bei 0,25 s und bei 2 s sind unterschiedliche Aussagen über die Daten:

  • Hoch bei 2 s und niedrig bei 0,25 s heißt, dass Annotierende sich einig sind, dass ein Ereignis stattfand, aber nicht wann genau. Das ist meist ein Leitlinienproblem: Die Definition von „wann es beginnt" ist unterbestimmt.
  • Niedrig bei beiden heißt, sie sind uneins, ob es überhaupt stattfand.

Bei jeder Toleranz wird die Bruchpunkt-Übereinstimmung in Detektion, Lokalisierung und Kategorie zerlegt, wie unter Weltmodell-Evaluation beschrieben. Für Zeitsegmente gibt es keinen solchen Sweep; ihre Grenzen werden nur über das zeitliche IoU beurteilt.

Die Abdeckung wird mitberichtet

Für dichte Kurven, etwa eine Progress-Reward-Spur über eine Roboterepisode, wird die Übereinstimmung als ICC plus Pearson mit angegebener Abdeckung berichtet.

Eine Korrelation, die über 5 % einer Zeitachse berechnet wurde, sagt nichts über die übrigen 95 %, und ein Koeffizient ohne mitgeführte Abdeckung wird gelesen, als täte er es.

Eine bekannte Einschränkung

Zeitsegmente erhalten nur die unkorrigierten Maße: kein σ, kein Detektions-α und kein Label-α. Die Zufallsbasis von σ entsteht aus Abständen zwischen Objekten auf verschiedenen Elementen, und „ein Segment aus einem anderen Clip" ist kein sinnvoller Vergleich, wenn Clips unterschiedlich lang sind. Das richtig zu machen braucht einen eigenen Entwurf, und hier eine Zufallskorrektur zu behaupten, bevor es sie gibt, wäre schlechter, als es zu sagen.

Wer die Label-Übereinstimmung bei Segmenten oder die Grenz-Übereinstimmung bei mehreren Toleranzen messen will, fügt die Segmente in den Rechner für Übereinstimmung bei Spans, Boxen und Segmenten ein. Er berichtet Grenz-F1 über einen Toleranz-Sweep und α über die Labels zugeordneter Segmente.

Verwandt

Beispiel-Designs

Jedes Design ist eine lauffähige Potato-Konfiguration zum Herunterladen und Ausführen.