Telemetría de dibujo
Cómo se produjo una caja, un polígono o una máscara — tiempo por forma, dinámica del trazo, número de revisiones y latencia al aceptar sugerencias de la IA. La única señal que separa la revisión del sello automático.
El pre-etiquetado hace más rápidos a los anotadores, y hace que el sello automático no cueste nada. Aparece una sugerencia, el anotador pulsa aceptar, y el conjunto de datos resultante es el acta de un modelo estando de acuerdo consigo mismo. Nada en la anotación distingue eso de una revisión cuidadosa. La geometría es idéntica, y todas las medidas de calidad se ven mejor, incluida la concordancia entre anotadores.
El único sitio donde aparece la diferencia es el tiempo.
Una persona no puede inspeccionar el contorno de una máscara y decidir en 300 ms. Una vez quizá sí, si el objeto era obvio. Como mediana sobre muchos elementos, eso no es pericia rápida.
A medida que el autoetiquetado de un clic se vuelve la norma, esta es la señal que separa la revisión del sello automático. Es la capacidad más infravalorada de la versión 2.8.
El flujo de eventos
Un evento lleva una marca de tiempo, una acción, un tipo de geometría y un entero.
| Acción | Significado | El entero |
|---|---|---|
shape_add | Se confirmó una forma | Vértices: 4 para una caja, len(points) para un polígono, 0 para una máscara |
shape_edit | Se movió o remodeló una forma existente | — |
shape_remove | Se eliminó una forma | — |
stroke | Terminó un trazo de pincel o borrador | Longitud del trazo en píxeles de imagen |
fill | Se aplicó relleno | Píxeles rellenados |
zoom | Cambió el nivel de zoom | Nivel × 100 |
pan | Terminó un arrastre de desplazamiento | Distancia en píxeles de pantalla |
tool, undo, redo | — | |
ai_suggest | Se mostró una sugerencia al anotador | — |
ai_accept / ai_reject | — |
Nunca se registra ninguna coordenada. Un flujo reconstruye cómo se produjo una anotación; no puede reconstruir la anotación. Es una propiedad estructural del registro de eventos, no una política. No existe un campo donde quepa una coordenada, y una prueba lo verifica.
La longitud del trazo va en píxeles de imagen y no de pantalla, así que el mismo trazo mide igual estuviera el anotador acercado o alejado.
Configuración
annotation_telemetry:
enabled: true
fidelity: events # off | summary | events
store_events: true
include_schemas: [] # empty means every geometry schema
exclude_schemas: []
idle_ms: 120000 # a gap above this is idle, not active
flush_interval_ms: 10000Ejemplo ejecutable: examples/advanced/annotation-telemetry/.
La señal que cambia decisiones
Latencia de aceptación de la IA. Una racha de aceptaciones por debajo de 500 ms a lo largo de muchos elementos es sello automático, y ninguna otra cifra separa eso de un acuerdo cuidadoso.
Léelo como una distribución, no como un umbral. Una aceptación rápida es un objeto fácil; una mediana de 300 ms sobre doscientos elementos es otro hallazgo, y no es uno al que se pueda llegar desde las anotaciones mismas.
Límites de la señal
Aquí se informan señales de proceso. No se detecta fraude ni se clasifica a un anotador. Una marca es una invitación a mirar, no una conclusión, y la tasa base importa: en un corpus donde la mayoría de los elementos son de verdad fáciles, rápido suele ser correcto.
Su gemelo del lado del texto es el registro de pulsaciones, que informa cómo se produjo una respuesta libre. Juntos son la respuesta honesta a «¿cómo sabes que tus trabajadores no están pegando desde un LLM?», y la respuesta honesta es un conjunto de señales de proceso con calibración por proyecto, no un clasificador.
Los anotadores ven un aviso de grabación. Esa es la diferencia entre un instrumento de investigación y la vigilancia, y la divulgación viene activada por defecto.