Übereinstimmung über die Zeit
Was Potato berichtet, wenn Annotierende Zeitsegmente und Bruchpunkte markieren, warum die Segment-Übereinstimmung nicht zufallskorrigiert ist und warum die Bruchpunkt-Übereinstimmung als Toleranz-Sweep berichtet wird.
Zwei Annotierende, die den Beginn eines Ereignisses markieren, wählen nicht dasselbe Einzelbild. Zeitliche Übereinstimmung muss deshalb sagen, wie nah als übereinstimmend gilt. Potato beantwortet das für Zeitsegmente und für Bruchpunkte unterschiedlich: Segmente werden über zeitliches IoU oberhalb einer Schwelle einander zugeordnet, Bruchpunkte werden über einen Sweep von Toleranzen berichtet.
Maße für Zeitsegmente
Für Audio- und Videosegmente vergleicht der Übereinstimmungsbericht jedes Paar von Annotierenden auf jedem Element und mittelt vier Zahlen:
| Frage | Maß |
|---|---|
| Wie gut stimmen die beiden Segmentmengen insgesamt überein? | Mittlere Übereinstimmung, die ungenaue Grenzen, übersehene Segmente und abweichende Labels bestraft |
| Wie nah liegen die Grenzen, wenn beide Annotierenden das Segment gefunden haben? | Mittleres zeitliches IoU der zugeordneten Segmente |
| Haben sie überhaupt dieselben Segmente gefunden? | Detektions-F1 bei der Zuordnungsschwelle, standardmäßig 0,5 |
| Haben sie gleich viele Segmente markiert? | Mittlere Differenz der Segmentanzahl |
Segmente werden allein über das zeitliche IoU zugeordnet. Labels zählen nur in der mittleren Übereinstimmung, wo ein zugeordnetes Paar mit unterschiedlichen Labels die Hälfte seines IoU erhält. Keine Zahl für sich sagt also, wie oft Annotierende beim Label übereinstimmen. Ein Paar, bei dem keine der beiden Personen etwas markiert hat, wird mitgezählt, aber nicht bewertet, denn zwei leere Antworten sind kein Beleg für Übereinstimmung.
Der Toleranz-Sweep für Bruchpunkte
Bruchpunkte sind einzelne Zeitpunkte, etwa der Moment, in dem eine Roboterepisode schiefgeht. Zwei davon gelten als dieselbe Markierung, wenn sie innerhalb eines Toleranzfensters liegen. Jede Zahl hängt dann von diesem Fenster ab, deshalb berechnet der Bericht zu Roboterepisoden sie bei 0,04, 0,25, 0,5, 1 und 2 Sekunden und zeigt alle fünf.
Eine einzelne Schwelle zu berichten lädt Lesende ein, jene Toleranz anzunehmen, die ihre Schlussfolgerung stützt. Übereinstimmung bei 0,25 s und bei 2 s sind unterschiedliche Aussagen über die Daten:
- Hoch bei 2 s und niedrig bei 0,25 s heißt, dass Annotierende sich einig sind, dass ein Ereignis stattfand, aber nicht wann genau. Das ist meist ein Leitlinienproblem: Die Definition von „wann es beginnt" ist unterbestimmt.
- Niedrig bei beiden heißt, sie sind uneins, ob es überhaupt stattfand.
Bei jeder Toleranz wird die Bruchpunkt-Übereinstimmung in Detektion, Lokalisierung und Kategorie zerlegt, wie unter Weltmodell-Evaluation beschrieben. Für Zeitsegmente gibt es keinen solchen Sweep; ihre Grenzen werden nur über das zeitliche IoU beurteilt.
Die Abdeckung wird mitberichtet
Für dichte Kurven, etwa eine Progress-Reward-Spur über eine Roboterepisode, wird die Übereinstimmung als ICC plus Pearson mit angegebener Abdeckung berichtet.
Eine Korrelation, die über 5 % einer Zeitachse berechnet wurde, sagt nichts über die übrigen 95 %, und ein Koeffizient ohne mitgeführte Abdeckung wird gelesen, als täte er es.
Eine bekannte Einschränkung
Zeitsegmente erhalten nur die unkorrigierten Maße: kein σ, kein Detektions-α und kein Label-α. Die Zufallsbasis von σ entsteht aus Abständen zwischen Objekten auf verschiedenen Elementen, und „ein Segment aus einem anderen Clip" ist kein sinnvoller Vergleich, wenn Clips unterschiedlich lang sind. Das richtig zu machen braucht einen eigenen Entwurf, und hier eine Zufallskorrektur zu behaupten, bevor es sie gibt, wäre schlechter, als es zu sagen.
Wer die Label-Übereinstimmung bei Segmenten oder die Grenz-Übereinstimmung bei mehreren Toleranzen messen will, fügt die Segmente in den Rechner für Übereinstimmung bei Spans, Boxen und Segmenten ein. Er berichtet Grenz-F1 über einen Toleranz-Sweep und α über die Labels zugeordneter Segmente.
Verwandt
Beispiel-Designs
Jedes Design ist eine lauffähige Potato-Konfiguration zum Herunterladen und Ausführen.
- Sleep-EDF Sleep Stage Scoring in 30-Second EpochsScore ten real overnight polysomnogram excerpts one 30-second epoch at a time with Rechtschaffen and Kales stages, using epoch-mode intervals and signal-cnn.
- Powdermill Bird Soundscape Species Boxes on SpectrogramsCorrect time-frequency boxes with species codes on ten real dawn-chorus excerpts, using Raven selection tables as pre-annotations and torchvision-detect.