Concordancia sobre geometría
Cómo informa Potato la concordancia corregida por azar para cajas delimitadoras y polígonos — detección, clasificación y localización, con σ y un estadístico KS frente a una línea base empírica de azar.
Potato descompone la concordancia espacial en tres preguntas —si los anotadores encontraron los mismos objetos, si los llamaron igual y si los pusieron en el mismo sitio— y responde la tercera frente a una línea base de azar estimada empíricamente en lugar de con IoU crudo.
El problema del IoU crudo
El motor de consenso de CVAT y la etapa de consenso de V7 comparan ambos a los anotadores con IoU crudo frente a un umbral por clase. Ninguno aplica corrección por azar, lo que hace que la cifra principal sea ininterpretable por sí sola:
Un corpus donde cada imagen contiene un único objeto grande y centrado mostrará un IoU medio en torno a 0,95 sin importar quién anote. Eso incluye a anotadores que nunca miraron la imagen y simplemente dibujaron una caja en el centro.
La corrección por azar es lo que separa «estos anotadores concuerdan» de «esta tarea es demasiado fácil para que haya desacuerdo».
El α de Krippendorff sobre 1 − IoU no funciona aquí
Ese era el plan original, y empíricamente es el valor por defecto equivocado.
Braylan, Alonso y Lease (WWW 2022) evalúan las funciones de distancia candidatas según si la puntuación de concordancia resultante ordena correctamente la calidad de los anotadores —la propiedad que de verdad importa— e informan de que, para cajas delimitadoras, α coloca la L2 simple (0,687) por encima de IoU (0,505) y GIoU (0,507), invirtiendo el orden que dan tanto sus propias medidas basadas en la distribución como los profesionales.
Hay una razón estructural. La distancia IoU está acotada en [0, 1] y se satura: dos formas emparejadas al azar casi siempre tienen IoU 0, así que el desacuerdo esperado colapsa en torno a 1 y α degenera a 1 − distancia media, sin corrección por azar operativa que quede dentro.
El IoU simple también es plano justo donde más importa. Dos cajas que no se solapan puntúan 0 tanto si se tocan como si están en esquinas opuestas de la imagen, así que la medida no tiene gradiente exactamente donde los anotadores discrepan.
Qué informa Potato en su lugar
σ, la medida principal
σ = 1 − mean(within-item distance) / mean(between-item distance)
Es la propia forma 1 − D_o/D_e de α generalizada a una distancia arbitraria, con la línea base de azar estimada empíricamente comparando anotaciones de elementos distintos.
| σ | Significado |
|---|---|
| 1,0 | Concordancia perfecta |
| 0,0 | Los anotadores concuerdan lo mismo que lo harían en elementos no relacionados |
| por debajo de 0 | Desacuerdo sistemático, normalmente un problema de definición más que de descuido |
Los valores negativos no se recortan. «Más separados en la misma imagen que en imágenes distintas» es un estado real y diagnosticable, y ocultarlo no ayuda a nadie.
KS, la medida acompañante
El estadístico de Kolmogórov–Smirnov de dos muestras entre las distribuciones de distancias dentro del elemento y entre elementos. σ compara dos medias y puede verse arrastrada por unos pocos valores atípicos; KS compara distribuciones enteras y aguanta mejor cuando la dificultad de los elementos varía.
Informa ambas. Que discrepen es en sí mismo informativo: significa que una minoría de elementos concentra la mayor parte del desacuerdo.
La descomposición
Una única cifra de concordancia espacial no puede decir cuál de tres fallos distintos ocurrió:
| Componente | Pregunta | Medida |
|---|---|---|
| Detección | ¿Encontraron siquiera los mismos objetos? | α nominal sobre la presencia |
| Clasificación | ¿Dieron a los objetos emparejados la misma etiqueta? | α nominal sobre las etiquetas |
| Localización | ¿Están los objetos emparejados en el mismo sitio? | σ y KS, más distancia GIoU |
Un anotador que encuentra todos los objetos y los etiqueta todos mal es un problema distinto de uno que etiqueta bien pero encuadra con holgura, y una puntuación combinada no los distingue.
Configuración
agreement_metrics:
enabled: trueLos informes aparecen en /admin/iaa.