Cómo anotar máscaras de segmentación de imágenes
Polígonos, máscaras de pincel y segmentación por clic, cuándo sirve cada herramienta, cómo escribir pautas de límites que los anotadores puedan seguir y cómo medir el acuerdo sobre una máscara.
La segmentación etiqueta qué píxeles pertenecen a un objeto, y casi toda su dificultad está en la regla de límites y no en la herramienta de dibujo. Dos anotadores que reciben la misma imagen y ninguna regla sobre las sombras discreparán de forma sistemática, y ninguna herramienta lo arregla.
Polígono o máscara
| Polígono | Máscara de pincel | |
|---|---|---|
| Agujeros y partes desconectadas | Incómodo | Natural |
| Estructuras finas (cables, pelo, patas) | Deficiente | Bueno |
| Compatibilidad de formatos | Amplia: COCO, YOLO, CVAT, LabelMe | Más limitada: COCO RLE, DAVIS, PNG de máscara |
| Editabilidad | Mover un vértice | Repintar una región |
| Almacenamiento | Pequeño | Grande salvo que sea disperso |
Los polígonos pasan por más formatos de ida y vuelta, lo que importa si las etiquetas tienen que salir de la herramienta. Las máscaras son la respuesta honesta cuando el objeto tiene de verdad agujeros o filamentos.
Si dudas, mira qué necesita el modelo que consumirá las etiquetas. Un modelo de segmentación semántica consume máscaras en ambos casos; la única cuestión es con qué cometen menos errores los anotadores.
Escribe primero la regla de límites
Esta es la parte que determina tu cifra de acuerdo. Decide, y da ejemplos de:
- Sombra y reflejo. ¿Dentro o fuera? Siempre igual.
- Partes transparentes y translúcidas. Un vaso, un parabrisas, una bolsa de plástico.
- Estructuras finas. ¿Dónde deja un cable de merecer que se trace?
- Oclusión. ¿Se enmascara solo la parte visible o se infiere el objeto entero?
- Contacto. Dos instancias que se tocan: ¿dónde está exactamente la división?
- Desenfoque por movimiento. ¿Dónde está el límite de un borde borroso?
Un solo ejemplo resuelto por regla vale más que un párrafo de prosa. Si los anotadores siguen discrepando después de esto, lo verás como σ baja con acuerdo de detección alto: encuentran los mismos objetos y los dibujan de forma distinta, lo que es un problema de pautas y no de descuido.
Parte de un modelo
La segmentación por clic da un primer borrador en aproximadamente 130 ms, en el navegador, sin GPU:
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Outline every object."
source_field: image
tools: [sam, polygon, brush, eraser]
labels:
- {name: object, color: "#6e56cf"}potato download-models onnxruntime
potato download-models mobile_samLos clics positivos añaden a una máscara, los negativos la recortan, un cuadro limita la búsqueda y se puede refinar una máscara existente.
La corrección es el valor de la anotación. Si tus anotadores aceptan siempre la primera máscara, has reunido un registro del modelo coincidiendo consigo mismo. Consulta cómo distinguir la revisión del sellado automático, porque las estadísticas de acuerdo no lo mostrarán.
Medir el acuerdo en máscaras
No uses el IoU medio entre anotadores. Responde a «¿es fácil esta tarea?», no a «¿coinciden estos anotadores?»; consulta cómo medir el acuerdo en cuadros delimitadores para ver por qué.
Usa STAPLE, que estima un límite de consenso latente junto con una sensibilidad y una especificidad por anotador:
- Una sensibilidad baja significa segmentar de menos, dibujando por dentro del límite verdadero.
- Una especificidad baja significa segmentar de más, dibujando con holgura alrededor de él.
Tienen arreglos opuestos, y por eso una sola cifra de exactitud no basta para dar retroalimentación a un anotador.
STAPLE también pondera por la fiabilidad demostrada en lugar de contar votos. Dos anotadores cuidadosos superados por tres ruidosos obtienen un Dice de 0.846 con voto mayoritario y de 1.000 con STAPLE.
Exportación
COCO admite polígonos y máscaras RLE, incluidas las regiones de multitud iscrowd. DAVIS admite máscaras por instancia. YOLO admite polígonos pero no máscaras. Consulta la matriz de formatos antes de comprometerte con un flujo de máscaras si las etiquetas tienen que acabar en un destino concreto.