Comment annoter des masques de segmentation d'image
Polygones, masques au pinceau et segmentation par clic : quand utiliser chacun, comment rédiger des consignes de frontière que les annotateurs peuvent suivre, et comment mesurer l'accord sur un masque.
La segmentation indique quels pixels appartiennent à un objet, et presque toute sa difficulté tient à la règle de frontière plutôt qu'à l'outil de dessin. Deux annotateurs à qui l'on donne la même image sans règle sur les ombres divergeront systématiquement, et aucun outillage n'y change rien.
Polygone ou masque
| Polygone | Masque au pinceau | |
|---|---|---|
| Trous et parties disjointes | Malaisé | Naturel |
| Structures fines (fils, cheveux, pattes) | Médiocre | Bon |
| Formats pris en charge | Large : COCO, YOLO, CVAT, LabelMe | Plus étroit : COCO RLE, DAVIS, PNG de masque |
| Modifiabilité | Déplacer un sommet | Repeindre une région |
| Stockage | Faible | Volumineux sauf s'il est épars |
Les polygones passent par davantage de formats lors d'un aller-retour, ce qui compte si les étiquettes doivent quitter l'outil. Les masques sont la réponse honnête quand l'objet présente réellement des trous ou des filaments.
En cas de doute, regardez ce dont a besoin le modèle qui consomme les étiquettes. Un modèle de segmentation sémantique consomme des masques dans les deux cas ; la question porte seulement sur ce qui est le moins sujet à l'erreur pour les annotateurs.
Rédiger d'abord la règle de frontière
C'est cette partie qui détermine votre chiffre d'accord. Décidez, et donnez des exemples pour :
- Ombre et reflet. Dedans ou dehors ? De façon cohérente.
- Parties transparentes et translucides. Un verre, un pare-brise, un sac en plastique.
- Structures fines. À partir d'où un fil ne vaut-il plus la peine d'être tracé ?
- Occlusion. Masquer seulement la partie visible, ou déduire l'objet entier ?
- Contact. Deux instances qui se touchent : où se situe exactement la séparation ?
- Flou de mouvement. Où se trouve la frontière d'un bord flou ?
Un seul exemple travaillé par règle vaut mieux qu'un paragraphe de prose. Si les annotateurs divergent malgré cela, vous le verrez sous la forme d'un σ faible avec un accord de détection élevé : ils trouvent les mêmes objets et les dessinent différemment, ce qui est un problème de consignes plutôt que de négligence.
Partir d'un modèle
La segmentation par clic donne une première ébauche en 130 ms environ, dans le navigateur, sans GPU :
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Outline every object."
source_field: image
tools: [sam, polygon, brush, eraser]
labels:
- {name: object, color: "#6e56cf"}potato download-models onnxruntime
potato download-models mobile_samLes clics positifs ajoutent au masque, les clics négatifs en retranchent, une boîte restreint la recherche, et un masque existant peut être affiné.
La correction est ce qui donne sa valeur à l'annotation. Si vos annotateurs acceptent à chaque fois le premier masque, vous avez recueilli la trace d'un modèle d'accord avec lui-même. Voir distinguer la relecture de la validation automatique, car les statistiques d'accord ne vous le diront pas.
Mesurer l'accord sur les masques
N'utilisez pas l'IoU moyenne entre annotateurs. Elle répond à « cette tâche est-elle facile », non à « ces annotateurs s'accordent-ils ». Voir mesurer l'accord sur les boîtes englobantes pour comprendre pourquoi.
Utilisez STAPLE, qui estime une frontière de consensus latente ainsi qu'une sensibilité et une spécificité par annotateur :
- Une faible sensibilité signifie une sous-segmentation, un tracé à l'intérieur de la vraie frontière.
- Une faible spécificité signifie une sur-segmentation, un tracé généreux autour d'elle.
Leurs remèdes sont opposés, ce qui explique qu'un chiffre d'exactitude unique ne suffise pas à donner un retour à un annotateur.
STAPLE pondère aussi selon la fiabilité démontrée plutôt que de compter les votes. Deux annotateurs soigneux mis en minorité trois contre deux par des annotateurs bruités obtiennent un Dice de 0,846 avec un vote majoritaire et de 1,000 avec STAPLE.
Export
COCO transporte les polygones et les masques RLE, y compris les régions de foule iscrowd. DAVIS transporte des masques par instance. YOLO transporte les polygones mais pas les masques. Consultez la matrice des formats avant de vous engager dans un flux de travail par masques si les étiquettes doivent aboutir quelque part de précis.