Skip to content

Consenso de máscaras con STAPLE

¿Qué máscara debería registrar el conjunto de datos, y quién la dibujó bien? STAPLE estima un contorno latente con sensibilidad y especificidad por anotador, y supera al voto mayoritario cuando los anotadores cuidadosos están en minoría.

La concordancia responde a «¿concuerdan?». No responde a «¿qué máscara debería registrar el conjunto de datos, y quién la dibujó bien?». Esa es otra pregunta y necesita otro modelo.

Por qué no MACE

MACE modela a cada anotador como alguien que sabe o adivina sobre un conjunto de etiquetas finito y compartido. Una máscara vive en un espacio no acotado, sin variable categórica que estimar. Forzar las máscaras por ahí obligaría a inventar un conjunto de etiquetas, y lo que se inventara determinaría la respuesta.

Qué hace STAPLE

STAPLE (Warfield, Zou y Wells, 2004) es la herramienta consolidada para esto en imagen médica. Ejecuta maximización de la esperanza sobre etiquetas por píxel y estima, por anotador:

SignificadoUn valor bajo indica
SensibilidadDel primer plano real, ¿cuánto incluiste?Subsegmentación: se dibuja por dentro del contorno
EspecificidadDel fondo real, ¿cuánto excluiste correctamente?Sobresegmentación: se dibuja holgado alrededor

Se informan ambas porque tienen correcciones opuestas. Un único número de «exactitud» puntuaría igual los dos modos de fallo y no le diría al anotador qué cambiar.

Consenso ponderado, no voto mayoritario

El desacuerdo de un anotador cuidadoso mueve el consenso más que el de uno descuidado, y el algoritmo deduce de los propios datos quién es quién.

Medido con dos anotadores cuidadosos superados tres a dos por otros ruidosos:

MétodoDice frente a la verdad
Voto mayoritario0,846
STAPLE1,000

Una votación deja decidir a los tres ruidosos. STAPLE nota que la pareja cuidadosa concuerda entre sí y los tres ruidosos no.

Advertencias que conviene conocer

  • Un anotador con tres instancias de una clase aporta su unión. STAPLE compara píxel a píxel, y mantener las instancias separadas exigiría emparejarlas antes entre anotadores, que es la pregunta de detección, respondida aparte en concordancia geométrica.
  • Los elementos con menos de dos anotadores que aporten máscara se cuentan y se omiten, no se descartan en silencio. De lo contrario la cobertura quedaría sobrestimada.

Control de coste

La comparación por pares es cuadrática en anotadores y en instancias por elemento. Un proyecto con cinco anotadores y 50 instancias por imagen cuesta 25.000 decodificaciones de máscara por imagen, lo que convierte la carga de una página de administración en un cuelgue.

Hay un presupuesto estricto, max_pairs, con valor predeterminado 200.000. Cuando se alcanza:

  • el elemento se omite entero, nunca a medio medir, porque un elemento procesado parcialmente sesga la media hacia la pareja de anotadores que casualmente se procesó;
  • el informe pone truncated: true e indica cuántos elementos sí cupieron.

Un número de concordancia truncado que se lee como completo es peor que ningún número, porque acabará citándose.

Relacionado