Übereinstimmung über die Zeit
Zeitliches IoU für Segmentgrenzen, Grenz-α, und warum die Übereinstimmung bei Bruchpunkten als Toleranz-Sweep statt bei einer einzelnen Schwelle berichtet wird.
Zwei Annotierende, die den Beginn eines Ereignisses markieren, wählen nicht dasselbe Einzelbild. Zeitliche Übereinstimmung muss deshalb sagen, wie nah als übereinstimmend gilt, und diese Wahl verändert die Antwort. Potato berichtet den Sweep, statt eine Schwelle für Sie zu wählen.
Was gemessen wird
| Frage | Maß |
|---|---|
| Überlappen die Segmente? | zeitliches IoU |
| Landen die Grenzen an derselben Stelle? | Grenz-α |
| Haben sie dieselbe Art Ereignis markiert? | nominales α über Labels |
| Waren sie sich einig, dass überhaupt ein Ereignis vorlag? | Detektions-α |
Der Toleranz-Sweep
Bei Bruchpunkt- und Grenzannotationen hängt die Übereinstimmung von einer Zuordnungstoleranz ab: Wie weit dürfen zwei Markierungen auseinanderliegen und noch als dieselbe gelten?
Eine einzelne Schwelle zu berichten lädt Lesende ein, jene Toleranz anzunehmen, die ihre Schlussfolgerung stützt. Übereinstimmung bei 0,25 s und bei 2 s sind unterschiedliche Aussagen über die Daten:
- Hoch bei 2 s und niedrig bei 0,25 s heißt, dass Annotierende sich einig sind, dass ein Ereignis stattfand, aber nicht wann genau. Das ist meist ein Leitlinienproblem: Die Definition von „wann es beginnt" ist unterbestimmt.
- Niedrig bei beiden heißt, sie sind uneins, ob es überhaupt stattfand.
Deshalb durchläuft der Bericht die Toleranz und zeigt die Kurve. Siehe Weltmodell-Evaluation, wo die Bruchpunkt-Übereinstimmung zusätzlich in Detektion, Lokalisierung und Kategorie zerlegt wird.
Die Abdeckung wird mitberichtet
Für dichte Kurven — etwa eine Progress-Reward-Spur über eine Roboterepisode — wird die Übereinstimmung als ICC plus Pearson mit angegebener Abdeckung berichtet.
Eine Korrelation, die über 5 % einer Zeitachse berechnet wurde, sagt nichts über die übrigen 95 %, und ein Koeffizient ohne mitgeführte Abdeckung wird gelesen, als täte er es.
Eine bekannte Einschränkung
Zeitliche Segmente erhalten derzeit nur die unkorrigierten Maße. Die Zufallsbasis von σ entsteht aus Abständen zwischen Elementen, und „ein Segment aus einem anderen Clip" ist kein sinnvoller Vergleich, wenn Clips unterschiedlich lang sind. Das richtig zu machen braucht einen eigenen Entwurf, und hier eine Zufallskorrektur zu behaupten, bevor es sie gibt, wäre schlechter, als es zu sagen.