Aller au contenu

Accord sur le temps

Ce que Potato rapporte quand des annotateurs marquent des segments temporels et des points de rupture, pourquoi l'accord sur les segments n'est pas corrigé du hasard, et pourquoi l'accord sur les points de rupture est un balayage de tolérance.

Deux annotateurs qui marquent le début d'un événement ne choisiront pas la même image, si bien que l'accord temporel doit dire à partir de quelle proximité on considère qu'ils s'accordent. Potato y répond différemment pour les segments temporels et pour les points de rupture : les segments sont appariés par une IoU temporelle au-dessus d'un seuil, et les points de rupture sont rapportés sur un balayage de tolérances.

Mesures pour les segments temporels

Pour les segments audio et vidéo, le rapport d'accord compare chaque paire d'annotateurs sur chaque item et fait la moyenne de quatre chiffres :

QuestionMesure
Dans quelle mesure les deux ensembles de segments concordent-ils globalement ?Accord moyen, qui pénalise les frontières lâches, les segments manqués et les étiquettes discordantes
Quelle est la proximité des frontières quand les deux annotateurs ont trouvé le segment ?IoU temporelle moyenne des segments appariés
Ont-ils trouvé les mêmes segments ?F1 de détection au seuil d'appariement, 0,5 par défaut
Ont-ils marqué le même nombre de segments ?Différence moyenne du nombre de segments

Les segments sont appariés sur la seule IoU temporelle. Les étiquettes ne comptent que dans l'accord moyen, où une paire appariée aux étiquettes différentes obtient la moitié de son IoU, si bien qu'aucun chiffre ne dit à lui seul à quelle fréquence les annotateurs s'accordent sur l'étiquette. Une paire dans laquelle aucun des deux annotateurs n'a rien marqué est comptée mais non notée, puisque deux réponses vides ne prouvent pas un accord.

Le balayage de tolérance pour les points de rupture

Les points de rupture sont des instants uniques, comme le moment où un épisode de robot tourne mal, et deux d'entre eux comptent comme la même marque lorsqu'ils tombent dans une fenêtre de tolérance. Chaque chiffre dépend alors de cette fenêtre, si bien que le rapport sur les épisodes de robot les calcule à 0,04, 0,25, 0,5, 1 et 2 secondes et montre les cinq.

Rapporter un seul seuil invite le lecteur à supposer la tolérance qui appuie sa conclusion. Un accord à 0,25 s et un accord à 2 s sont deux affirmations différentes sur les données :

  • Élevé à 2 s et faible à 0,25 s signifie que les annotateurs s'accordent sur le fait qu'un événement s'est produit mais pas sur le moment exact. C'est généralement un problème de consignes : la définition de « quand cela commence » est sous-spécifiée.
  • Faible aux deux signifie qu'ils divergent sur le fait même que cela se soit produit.

À chaque tolérance, l'accord sur les points de rupture est décomposé en détection, localisation et catégorie, comme décrit dans l'évaluation des modèles du monde. Les segments temporels n'ont pas de tel balayage ; leurs frontières sont jugées uniquement par l'IoU temporelle.

La couverture est rapportée avec le reste

Pour les courbes denses, comme une trace de récompense de progression sur un épisode de robot, l'accord est rapporté sous forme d'ICC et de Pearson avec la couverture indiquée.

Une corrélation calculée sur 5 % d'une chronologie ne dit rien des 95 % restants, et un coefficient qui ne porte pas sa couverture sera lu comme s'il la portait.

Une limite connue

Les segments temporels n'obtiennent que les mesures non corrigées : ni σ, ni α de détection, ni α d'étiquette. La base de hasard de σ est construite à partir des distances entre des objets d'items différents, et « un segment d'un autre clip » n'est pas une comparaison significative quand les clips diffèrent en longueur. Bien faire cela demande sa propre conception, et revendiquer ici une correction du hasard avant qu'elle existe serait pire que de le dire.

Pour mesurer l'accord sur les étiquettes de segments, ou l'accord sur les frontières à plusieurs tolérances, collez les segments dans le calculateur d'accord pour empans et boîtes, qui rapporte le F1 des frontières sur un balayage de tolérances et l'α sur les étiquettes des segments appariés.

Voir aussi

Exemples de designs

Chaque design est une configuration Potato fonctionnelle à télécharger et à exécuter.