Aller au contenu

Comment annoter des masques de segmentation d'image

Polygones, masques au pinceau et segmentation par clic : quand utiliser chacun, comment rédiger des consignes de frontière que les annotateurs peuvent suivre, et comment mesurer l'accord sur un masque.

La segmentation indique quels pixels appartiennent à un objet, et presque toute sa difficulté tient à la règle de frontière plutôt qu'à l'outil de dessin. Deux annotateurs à qui l'on donne la même image sans règle sur les ombres divergeront systématiquement, et aucun outillage n'y change rien.

Polygone ou masque

PolygoneMasque au pinceau
Trous et parties disjointesMalaiséNaturel
Structures fines (fils, cheveux, pattes)MédiocreBon
Formats pris en chargeLarge : COCO, YOLO, CVAT, LabelMePlus étroit : COCO RLE, DAVIS, PNG de masque
ModifiabilitéDéplacer un sommetRepeindre une région
StockageFaibleVolumineux sauf s'il est épars

Les polygones passent par davantage de formats lors d'un aller-retour, ce qui compte si les étiquettes doivent quitter l'outil. Les masques sont la réponse honnête quand l'objet présente réellement des trous ou des filaments.

En cas de doute, regardez ce dont a besoin le modèle qui consomme les étiquettes. Un modèle de segmentation sémantique consomme des masques dans les deux cas ; la question porte seulement sur ce qui est le moins sujet à l'erreur pour les annotateurs.

Rédiger d'abord la règle de frontière

C'est cette partie qui détermine votre chiffre d'accord. Décidez, et donnez des exemples pour :

  • Ombre et reflet. Dedans ou dehors ? De façon cohérente.
  • Parties transparentes et translucides. Un verre, un pare-brise, un sac en plastique.
  • Structures fines. À partir d'où un fil ne vaut-il plus la peine d'être tracé ?
  • Occlusion. Masquer seulement la partie visible, ou déduire l'objet entier ?
  • Contact. Deux instances qui se touchent : où se situe exactement la séparation ?
  • Flou de mouvement. Où se trouve la frontière d'un bord flou ?

Un seul exemple travaillé par règle vaut mieux qu'un paragraphe de prose. Si les annotateurs divergent malgré cela, vous le verrez sous la forme d'un σ faible avec un accord de détection élevé : ils trouvent les mêmes objets et les dessinent différemment, ce qui est un problème de consignes plutôt que de négligence.

Partir d'un modèle

La segmentation par clic donne une première ébauche en 130 ms environ, dans le navigateur, sans GPU :

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Outline every object."
    source_field: image
    tools: [sam, polygon, brush, eraser]
    labels:
      - {name: object, color: "#6e56cf"}
bash
potato download-models onnxruntime
potato download-models mobile_sam

Les clics positifs ajoutent au masque, les clics négatifs en retranchent, une boîte restreint la recherche, et un masque existant peut être affiné.

La correction est ce qui donne sa valeur à l'annotation. Si vos annotateurs acceptent à chaque fois le premier masque, vous avez recueilli la trace d'un modèle d'accord avec lui-même. Voir distinguer la relecture de la validation automatique, car les statistiques d'accord ne vous le diront pas.

Mesurer l'accord sur les masques

N'utilisez pas l'IoU moyenne entre annotateurs. Elle répond à « cette tâche est-elle facile », non à « ces annotateurs s'accordent-ils ». Voir mesurer l'accord sur les boîtes englobantes pour comprendre pourquoi.

Utilisez STAPLE, qui estime une frontière de consensus latente ainsi qu'une sensibilité et une spécificité par annotateur :

  • Une faible sensibilité signifie une sous-segmentation, un tracé à l'intérieur de la vraie frontière.
  • Une faible spécificité signifie une sur-segmentation, un tracé généreux autour d'elle.

Leurs remèdes sont opposés, ce qui explique qu'un chiffre d'exactitude unique ne suffise pas à donner un retour à un annotateur.

STAPLE pondère aussi selon la fiabilité démontrée plutôt que de compter les votes. Deux annotateurs soigneux mis en minorité trois contre deux par des annotateurs bruités obtiennent un Dice de 0,846 avec un vote majoritaire et de 1,000 avec STAPLE.

Export

COCO transporte les polygones et les masques RLE, y compris les régions de foule iscrowd. DAVIS transporte des masques par instance. YOLO transporte les polygones mais pas les masques. Consultez la matrice des formats avant de vous engager dans un flux de travail par masques si les étiquettes doivent aboutir quelque part de précis.

Pour aller plus loin