Aller au contenu

Comment mesurer l'accord inter-annotateurs sur des boîtes englobantes

L'IoU brute n'est pas de l'accord. Comment mesurer si des annotateurs s'accordent sur des boîtes englobantes, des polygones et des masques avec correction du hasard, et pourquoi la détection, la classification et la localisation demandent des chiffres distincts.

L'IoU moyenne entre annotateurs mesure la facilité de la tâche, et non l'accord entre eux. Sur un corpus de détection typique, elle atteint environ 0,95, même pour des annotateurs qui n'ont jamais regardé l'image. Mesurer l'accord sur des étiquettes spatiales suppose de corriger du hasard, et de rapporter la détection, la classification et la localisation sous forme de chiffres distincts.

Pourquoi l'IoU brute trompe

Prenons un corpus où chaque image contient un seul grand objet centré. Deux annotateurs qui dessinent tous deux une boîte au milieu se recouvriront largement, et l'IoU moyenne sera d'environ 0,95. Il en ira de même pour un annotateur qui a dessiné une boîte au milieu sans regarder.

Le chiffre mesure la tâche, non les annotateurs. C'est le même problème que celui de l'accord en pourcentage sur des étiquettes catégorielles, où une classe dominante gonfle le score, et il a le même remède : corriger de l'accord que la tâche produit par accident.

Le moteur de consensus de CVAT et l'étape de consensus de V7 comparent tous deux les annotateurs par une IoU brute face à un seuil par classe. Aucun n'applique de correction du hasard, et les deux sont très utilisés, si bien qu'un « accord de 0,9 » rapporté par l'un ou l'autre ne peut généralement être comparé à rien.

Pourquoi pas l'α de Krippendorff sur 1 − IoU

Le remède évident consiste à fournir la distance IoU à l'α de Krippendorff, qui accepte n'importe quelle fonction de distance. Cela ne fonctionne pas bien ici, et la raison mérite d'être connue avant de le construire.

Braylan, Alonso et Lease (WWW 2022) évaluent les fonctions de distance selon que le score obtenu classe correctement la qualité des annotateurs. Pour les boîtes englobantes, α classe la distance L2 simple (0,687) au-dessus de l'IoU (0,505) et de la GIoU (0,507), ce qui inverse l'ordre que donnent à la fois leurs deux mesures fondées sur les distributions et les praticiens.

Sur le plan structurel, la distance IoU est bornée dans [0, 1] et sature. Deux boîtes appariées au hasard ont presque toujours une IoU de 0, si bien que le désaccord attendu s'effondre vers 1, et α dégénère en 1 − mean distance, sans plus aucune correction du hasard. L'IoU est aussi plate là où cela compte : deux boîtes qui ne se recouvrent pas obtiennent 0, qu'elles se touchent ou qu'elles soient aux coins opposés, ce qui supprime tout gradient précisément là où les annotateurs divergent.

Que rapporter à la place

Scinder la question en trois

ComposanteQuestionMesure
DétectionOnt-ils trouvé les mêmes objets ?α nominal sur la présence
ClassificationOnt-ils donné la même étiquette aux objets appariés ?α nominal sur les étiquettes
LocalisationLes objets appariés sont-ils au même endroit ?σ et KS

Un annotateur qui trouve tous les objets et les étiquette tous mal pose un problème différent de celui qui étiquette correctement mais dessine ses boîtes de façon lâche. Un score combiné ne dit pas lequel des deux vous avez, et les remèdes diffèrent.

σ, avec une base de hasard empirique

text
σ = 1 − mean(within-item distance) / mean(between-item distance)

C'est la forme 1 − D_o/D_e de α généralisée à n'importe quelle distance, la base de hasard étant estimée en comparant des annotations d'items différents. σ = 0 signifie que les annotateurs ne s'accordent pas plus qu'ils ne le feraient sur des images sans rapport.

Ne tronquez pas les valeurs négatives. « Plus éloignés sur la même image que sur des images différentes » est un état réel, et il signifie presque toujours que les consignes sont ambiguës plutôt que les annotateurs négligents.

KS en complément

La statistique de Kolmogorov–Smirnov à deux échantillons entre les distributions des distances intra-item et inter-items. σ compare deux moyennes et peut être tiré par quelques valeurs aberrantes ; KS compare des distributions entières.

Rapportez les deux. Quand ils divergent, une minorité d'items porte l'essentiel du désaccord, ce qui indique d'aller examiner ces items.

Les masques demandent un autre outil

Pour les masques de pixels, la question « quelle frontière retient-on » n'est pas la même que « sont-ils d'accord ». Utilisez STAPLE (Warfield, Zou et Wells, 2004), qui applique une maximisation de l'espérance sur les étiquettes par pixel et estime une sensibilité et une spécificité par annotateur.

La sensibilité et la spécificité sont rapportées séparément parce que leurs remèdes sont opposés : une faible sensibilité signifie une sous-segmentation, une faible spécificité une sur-segmentation, et un chiffre unique d'exactitude note les deux de façon identique.

STAPLE l'emporte aussi sur un vote majoritaire lorsque les annotateurs soigneux sont minoritaires. Avec deux annotateurs soigneux contre trois bruités, le vote majoritaire obtient un Dice de 0,846 face à la vérité et STAPLE obtient 1,000.

Les boîtes 3D demandent l'IoU exacte sur boîtes orientées

Pour les cuboïdes, utilisez l'IoU 3D exacte sur boîtes orientées. Une approximation alignée sur les axes rapporte un désaccord qui est un artefact de la mesure dès que les données présentent un vrai tangage et un vrai roulis, ce que font les scans par drone, portatifs et d'intérieur.

Le faire dans Potato

yaml
agreement_metrics:
  enabled: true
 
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Draw a tight box around every vehicle."
    source_field: image
    tools: [bbox]
    labels:
      - {name: car, color: "#FF6B6B"}
      - {name: truck, color: "#4ECDC4"}
 
num_annotators_per_item:
  default: 2

Les rapports apparaissent à /admin/iaa. Deux propriétés méritent d'être connues :

  • Les valeurs indéfinies s'expliquent d'elles-mêmes. α est réellement indéfini sur un corpus unanime. Un simple NaN passe pour un calcul défaillant et un 1.0 serait un mensonge.
  • Rien n'est tronqué en silence. La comparaison par paires est quadratique en nombre d'annotateurs et en nombre d'instances par item, il existe donc un budget. Quand il est atteint, l'item est ignoré en entier plutôt que mesuré à moitié, et le rapport indique combien d'items ont été inclus.

Liste de contrôle

  1. Obtenez au moins deux annotations indépendantes par item. L'accord sur un seul annotateur est indéfini plutôt que parfait.
  2. Rapportez séparément la détection, la classification et la localisation.
  3. Corrigez du hasard par rapport à une base estimée empiriquement plutôt qu'à un seuil fixe.
  4. Rapportez σ et KS ensemble.
  5. Utilisez STAPLE pour les masques et l'IoU 3D sur boîtes orientées pour les cuboïdes.
  6. Indiquez la couverture. Un chiffre calculé sur un échantillon qui se présente comme complet sera cité comme complet.

Pour aller plus loin