Ir al contenido

Concordancia en el tiempo

Qué informa Potato cuando los anotadores marcan segmentos temporales y puntos de ruptura, por qué la concordancia sobre segmentos no está corregida por azar y por qué la concordancia sobre puntos de ruptura se informa como un barrido de tolerancia.

Dos anotadores que marcan cuándo empieza un evento no elegirán el mismo fotograma, así que la concordancia temporal tiene que decir qué tan cerca cuenta como concordar. Potato lo resuelve de forma distinta para los segmentos temporales y para los puntos de ruptura: los segmentos se emparejan por IoU temporal por encima de un umbral, y los puntos de ruptura se informan a lo largo de un barrido de tolerancias.

Medidas para segmentos temporales

Para los segmentos de audio y vídeo, el informe de concordancia compara cada par de anotadores en cada elemento y promedia cuatro números:

PreguntaMedida
¿Qué tan bien concuerdan, en general, los dos grupos de segmentos?Concordancia media, que penaliza los límites imprecisos, los segmentos omitidos y las etiquetas que no coinciden
¿Qué tan cerca quedan los límites cuando ambos anotadores encontraron el segmento?IoU temporal medio de los segmentos emparejados
¿Encontraron siquiera los mismos segmentos?F1 de detección en el umbral de emparejamiento, 0,5 por defecto
¿Marcaron el mismo número de segmentos?Diferencia media en el número de segmentos

Los segmentos se emparejan solo por IoU temporal. Las etiquetas cuentan únicamente en la concordancia media, donde un par emparejado con etiquetas distintas obtiene la mitad de su IoU, así que ningún número por sí solo dice con qué frecuencia los anotadores coinciden en la etiqueta. Un par en el que ninguno de los dos anotadores marcó nada se cuenta pero no se puntúa, porque dos respuestas vacías no son evidencia de concordancia.

El barrido de tolerancia para puntos de ruptura

Los puntos de ruptura son instantes únicos, como el momento en que un episodio robótico sale mal, y dos de ellos cuentan como la misma marca cuando caen dentro de una ventana de tolerancia. Cada número depende entonces de esa ventana, así que el informe de episodios robóticos los calcula a 0,04, 0,25, 0,5, 1 y 2 segundos y muestra los cinco.

Informar un solo umbral invita a quien lee a suponer la tolerancia que respalda su conclusión. La concordancia a 0,25 s y a 2 s son afirmaciones distintas sobre los datos:

  • Alta a 2 s y baja a 0,25 s significa que los anotadores coinciden en que hubo un evento, pero no en cuándo exactamente. Suele ser un problema de la guía: la definición de «cuándo empieza» está poco especificada.
  • Baja en ambos casos significa que discrepan sobre si ocurrió siquiera.

En cada tolerancia, la concordancia sobre puntos de ruptura se descompone en detección, localización y categoría, como se describe en evaluación de modelos del mundo. Los segmentos temporales no tienen ese barrido; sus límites se juzgan solo a través del IoU temporal.

La cobertura se informa al lado

Para curvas densas, como una traza de recompensa de progreso sobre un episodio robótico, la concordancia se informa como ICC más Pearson con la cobertura declarada.

Una correlación calculada sobre el 5 % de una línea temporal no dice nada del 95 % restante, y un coeficiente que no lleva consigo su cobertura se leerá como si la llevara.

Una limitación conocida

Los segmentos temporales reciben solo las medidas sin corregir: ni σ, ni α de detección, ni α sobre las etiquetas. La línea base de azar de σ se construye a partir de distancias entre objetos de elementos distintos, y «un segmento de otro clip» no es una comparación con sentido cuando los clips difieren en duración. Hacerlo bien exige un diseño propio, y afirmar aquí una corrección por azar antes de que exista sería peor que decirlo.

Para medir la concordancia de etiquetas en segmentos, o la concordancia de límites a varias tolerancias, pega los segmentos en la calculadora de acuerdo para spans, cajas y segmentos, que informa el F1 de límites a lo largo de un barrido de tolerancia y α sobre las etiquetas de los segmentos emparejados.

Relacionado

Diseños de ejemplo

Cada diseño es una configuración de Potato que funciona y que puedes descargar y ejecutar.