Concordancia en el tiempo
IoU temporal para los límites de segmento, α de frontera, y por qué la concordancia sobre puntos de ruptura se informa como un barrido de tolerancia en lugar de a un único umbral.
Dos anotadores que marcan cuándo empieza un evento no elegirán el mismo fotograma, así que la concordancia temporal tiene que decir qué tan cerca cuenta como concordar, y esa elección cambia la respuesta. Potato informa el barrido en lugar de elegir un umbral por ti.
Qué se mide
| Pregunta | Medida |
|---|---|
| ¿Se solapan los segmentos? | IoU temporal |
| ¿Caen los límites en el mismo sitio? | α de frontera |
| ¿Marcaron el mismo tipo de evento? | α nominal sobre las etiquetas |
| ¿Coincidieron en que hubo un evento? | α de detección |
El barrido de tolerancia
Para las anotaciones de puntos de ruptura y de frontera, la concordancia depende de una tolerancia de emparejamiento: ¿cuánto pueden distar dos marcas y seguir contando como la misma marca?
Informar un solo umbral invita a quien lee a suponer la tolerancia que respalda su conclusión. La concordancia a 0,25 s y a 2 s son afirmaciones distintas sobre los datos:
- Alta a 2 s y baja a 0,25 s significa que los anotadores coinciden en que hubo un evento, pero no en cuándo exactamente. Suele ser un problema de la guía: la definición de «cuándo empieza» está poco especificada.
- Baja en ambos casos significa que discrepan sobre si ocurrió siquiera.
Por eso el informe recorre la tolerancia y muestra la curva. Véase evaluación de modelos del mundo, donde la concordancia sobre puntos de ruptura se descompone además en detección, localización y categoría.
La cobertura se informa al lado
Para curvas densas —por ejemplo una traza de recompensa de progreso sobre un episodio robótico— la concordancia se informa como ICC más Pearson con la cobertura declarada.
Una correlación calculada sobre el 5 % de una línea temporal no dice nada del 95 % restante, y un coeficiente que no lleva consigo su cobertura se leerá como si la llevara.
Una limitación conocida
Los segmentos temporales reciben por ahora solo las medidas sin corregir. La línea base de azar de σ se construye a partir de distancias entre elementos, y «un segmento de otro clip» no es una comparación con sentido cuando los clips difieren en duración. Hacerlo bien exige un diseño propio, y afirmar aquí una corrección por azar antes de que exista sería peor que decirlo.