Cómo medir el acuerdo entre anotadores en cuadros delimitadores
El IoU sin procesar no es acuerdo. Cómo medir con corrección por azar si los anotadores coinciden en cuadros delimitadores, polígonos y máscaras, y por qué la detección, la clasificación y la localización necesitan cifras separadas.
El IoU medio entre anotadores mide lo fácil que es la tarea, no cuánto coinciden. En un corpus de detección típico ronda 0.95 incluso para anotadores que nunca miraron la imagen. Medir el acuerdo en etiquetas espaciales exige corregir por azar e informar de la detección, la clasificación y la localización como cifras separadas.
Por qué el IoU sin procesar engaña
Imagina un corpus donde cada imagen contiene un objeto grande y centrado. Dos anotadores que dibujen una caja en el centro se solaparán mucho, así que el IoU medio sale en torno a 0.95. Lo mismo ocurre con un anotador que dibujó una caja en el centro sin mirar.
La cifra mide la tarea, no a los anotadores. Es el mismo problema que tiene el porcentaje de acuerdo en las etiquetas categóricas, donde una clase dominante infla la puntuación, y tiene la misma solución: corregir por cuánto acuerdo produce la tarea por accidente.
El motor de consenso de CVAT y la etapa de consenso de V7 comparan a los anotadores con IoU sin procesar frente a un umbral por clase. Ninguno aplica corrección por azar, y ambos se usan mucho, así que un «acuerdo de 0.9» informado por cualquiera de los dos normalmente no se puede comparar con nada.
Por qué no el α de Krippendorff sobre 1 − IoU
La solución obvia es pasar la distancia IoU al α de Krippendorff, que acepta cualquier función de distancia. Aquí no funciona bien, y conviene conocer la razón antes de construirlo.
Braylan, Alonso y Lease (WWW 2022) evalúan las funciones de distancia según si la puntuación resultante ordena correctamente la calidad de los anotadores. Para los cuadros delimitadores, α ordena la L2 simple (0.687) por encima del IoU (0.505) y del GIoU (0.507), lo que invierte el orden que dan tanto sus dos medidas basadas en distribuciones como los profesionales.
Estructuralmente: la distancia IoU está acotada en [0, 1] y se satura. Dos cajas emparejadas al azar casi siempre tienen IoU 0, así que el desacuerdo esperado colapsa hacia 1 y α degenera en 1 − mean distance sin corrección por azar alguna. El IoU también es plano donde importa: dos cajas que no se solapan puntúan 0 tanto si se tocan como si están en esquinas opuestas, de modo que no hay gradiente justo donde los anotadores discrepan.
Qué informar en su lugar
Divide la pregunta en tres
| Componente | Pregunta | Medida |
|---|---|---|
| Detección | ¿Encontraron los mismos objetos? | α nominal sobre la presencia |
| Clasificación | ¿Dieron a los objetos emparejados la misma etiqueta? | α nominal sobre las etiquetas |
| Localización | ¿Están los objetos emparejados en el mismo lugar? | σ y KS |
Un anotador que encuentra todos los objetos y los etiqueta mal es un problema distinto de uno que etiqueta bien pero encuadra con holgura. Una puntuación combinada no te dice cuál tienes, y los dos tienen arreglos distintos.
σ, con una línea base de azar empírica
σ = 1 − mean(within-item distance) / mean(between-item distance)
Es la forma 1 − D_o/D_e del α generalizada a cualquier distancia, con la línea base de azar estimada comparando anotaciones de ítems distintos. σ = 0 significa que los anotadores no coinciden más de lo que lo harían en imágenes no relacionadas.
No recortes los valores negativos. «Más separados en la misma imagen que en imágenes distintas» es un estado real, y casi siempre significa que las pautas son ambiguas y no que los anotadores sean descuidados.
KS junto a ella
El estadístico de dos muestras de Kolmogórov–Smirnov entre las distribuciones de distancia dentro del ítem y entre ítems. σ compara dos medias y unos pocos valores atípicos pueden arrastrarla; KS compara distribuciones completas.
Informa de ambas. Cuando discrepan, una minoría de ítems concentra la mayor parte del desacuerdo, lo que te indica que vayas a mirar esos ítems.
Las máscaras necesitan otra herramienta
Para las máscaras de píxeles, la pregunta «de quién registramos el límite» no es la misma que «¿coinciden?». Usa STAPLE (Warfield, Zou y Wells, 2004), que ejecuta maximización de la esperanza sobre las etiquetas por píxel y estima una sensibilidad y una especificidad por anotador.
La sensibilidad y la especificidad se informan por separado porque tienen arreglos opuestos: una sensibilidad baja significa segmentar de menos, una especificidad baja significa segmentar de más, y una sola cifra de exactitud puntúa ambas igual.
STAPLE también supera al voto mayoritario cuando los anotadores cuidadosos están en minoría. Con dos anotadores cuidadosos frente a tres ruidosos, el voto mayoritario obtiene un Dice de 0.846 respecto a la verdad y STAPLE obtiene 1.000.
Las cajas 3D necesitan un IoU rotado exacto
Para los cuboides, usa el IoU 3D rotado exacto. Una aproximación alineada con los ejes informa de un desacuerdo que es un artefacto de la medida en cuanto los datos tienen cabeceo y alabeo reales, como ocurre con los escaneos de dron, de mano y de interiores.
Cómo hacerlo en Potato
agreement_metrics:
enabled: true
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Draw a tight box around every vehicle."
source_field: image
tools: [bbox]
labels:
- {name: car, color: "#FF6B6B"}
- {name: truck, color: "#4ECDC4"}
num_annotators_per_item:
default: 2Los informes aparecen en /admin/iaa. Conviene conocer dos propiedades:
- Los valores indefinidos se explican solos. α está genuinamente indefinida en un corpus unánime. Un
NaNa secas parece un cálculo roto y un1.0sería una mentira. - Nada se trunca en silencio. La comparación por pares es cuadrática en el número de anotadores y en el de instancias por ítem, así que hay un presupuesto. Cuando se alcanza, el ítem se omite entero en lugar de medirse a medias, y el informe indica cuántos ítems se incluyeron.
Lista de comprobación
- Consigue al menos dos anotaciones independientes por ítem. El acuerdo sobre un solo anotador queda indefinido en lugar de perfecto.
- Informa por separado de la detección, la clasificación y la localización.
- Corrige por azar frente a una línea base estimada de forma empírica y no frente a un umbral fijo.
- Informa juntos de σ y KS.
- Usa STAPLE para las máscaras y el IoU 3D rotado para los cuboides.
- Indica la cobertura. Una cifra calculada sobre una muestra que se presenta como completa se citará como completa.