Mesure et intégrité
Potato rapporte un accord corrigé du hasard sur la géométrie, les cuboïdes 3D, les légendes et les points de rupture des modèles du monde, un accord non corrigé sur les segments temporels, et enregistre la façon dont les annotations ont été produites.
Chaque type d'annotation de Potato est livré avec un moyen de mesurer si les annotateurs s'accordent, avec ses modes de défaillance énoncés, et pour la plupart des types cette mesure est corrigée du hasard. Cela inclut les types spatiaux, où le standard du secteur est l'IoU brute ou le pourcentage de concordance, et aucun des deux n'est corrigé du hasard. Les segments temporels font exception : Potato rapporte pour eux des mesures non corrigées, et l'accord sur le temps explique pourquoi.
Cette section couvre les deux moitiés de la question : si les étiquettes concordent, et comment elles ont été produites.
Le fil conducteur
| Question | Mesure |
|---|---|
| Les annotateurs ont-ils trouvé les mêmes objets ? | α de détection |
| Les ont-ils nommés de la même façon ? | α de classification |
| Les ont-ils placés au même endroit ? | σ et KS face à une base de hasard empirique |
| À quel masque se fier ? | STAPLE |
| S'accordent-ils sur le début d'un événement ? | IoU temporelle et F1 de détection, non corrigés du hasard |
| S'accordent-ils sur une boîte 3D ? | IoU 3D exacte sur boîtes orientées |
| Décrivent-ils une région de la même façon ? | α avec une distance sémantique sur le texte |
| S'accordent-ils sur le moment où le monde a déraillé ? | accord sur les points de rupture avec balayage de tolérance |
| Un annotateur est-il compétent ? | MACE, pour les parties réellement catégorielles |
Pourquoi corriger du hasard
L'accord brut est gonflé dès qu'une réponse domine, et une réponse domine presque toujours.
Le cas le plus net est spatial. Un corpus où chaque image contient un seul grand objet centré affichera une IoU moyenne d'environ 0,95 quel que soit l'annotateur, y compris des annotateurs qui n'ont jamais regardé l'image et ont dessiné une boîte au milieu. La correction du hasard est ce qui sépare « ces annotateurs s'accordent » de « cette tâche est trop facile pour qu'on y diverge ».
La plupart des plateformes d'annotation rapportent l'accord sous forme d'IoU brute, de concordance exacte ou de pourcentage d'accord par rapport à une tâche de référence. Ce sont des chiffres utiles qui répondent à une autre question. Nous n'avons trouvé aucune autre plateforme d'annotation qui rapporte un coefficient corrigé du hasard pour des étiquettes spatiales.
Deux propriétés de conception
Les valeurs indéfinies s'expliquent d'elles-mêmes. α est réellement indéfini sur un corpus unanime. Un simple NaN passe pour un calcul défaillant et un 1.0 serait un mensonge, si bien que le rapport dit lequel des deux c'est, en toutes lettres.
Rien n'est tronqué en silence. Un rapport qui atteint son budget de comparaisons par paires le dit et indique combien d'items ont été inclus. Un chiffre calculé sur un échantillon qui se présente comme un chiffre calculé sur tout est pire que pas de chiffre.
Le bogue à l'origine de cette couche
L'adjudication comparait autrefois les clés d'une annotation, et un schéma d'image stocke tout sous une seule clé nommée _data. Chaque paire d'images obtenait donc un accord de 1,0 : deux annotateurs qui ne s'accordaient sur rien paraissaient unanimes, et aucune image n'était jamais envoyée en relecture.
C'est corrigé, et c'est la raison pour laquelle la couche d'accord est intégrée à chaque type d'annotation plutôt que greffée par-dessus.
Comment les données ont été produites
L'accord ne peut pas détecter deux annotateurs qui s'accordent avec assurance sur une mauvaise réponse, ni une pré-étiquette acceptée sans avoir été lue. Deux surfaces y répondent :
- La télémétrie du dessin enregistre le temps par forme, la dynamique des traits, le nombre de révisions et la latence d'acceptation des suggestions de l'IA.
- L'enregistrement des frappes est son jumeau côté texte, pour savoir comment une réponse libre a été produite.
Les deux sont facultatives, et les annotateurs voient un avis d'enregistrement.
Confiance et déploiement
- Déploiement en environnement isolé du réseau — chaque ressource est servie depuis votre installation, vérifié à zéro requête externe.
- Spécifications lisibles par machine — un JSON Schema et un document OpenAPI, tous deux générés à partir du code et vérifiés en CI.