Telemetria de desenho
Como uma caixa, um polígono ou uma máscara foi produzido. Tempo por forma, dinâmica dos traços, número de revisões e latência de aceitação de IA separam revisão de carimbo automático.
A pré-rotulagem deixa os anotadores mais rápidos, e torna o carimbo automático sem atrito. Uma sugestão aparece, o anotador clica em aceitar, e o conjunto de dados resultante é um registro de um modelo concordando consigo mesmo. Nada na anotação distingue isso de uma revisão cuidadosa. A geometria é idêntica, e a concordância entre anotadores sobe sem que a acurácia suba, porque anotadores que aceitam a mesma sugestão são unânimes por construção.
A diferença aparece no tempo do trabalho.
Um humano não consegue inspecionar o contorno de uma máscara e decidir em 300 ms. Uma vez, talvez, se o objeto fosse óbvio. Como mediana ao longo de muitos itens, isso não é perícia rápida.
A pré-rotulagem por modelo é um recurso padrão das plataformas de anotação atuais, incluindo as pré-anotações do Label Studio, a anotação automatizada do CVAT e o Auto-Annotate do V7. Onde quer que esteja ativada, a latência de aceitação é o sinal que separa revisão de carimbo automático.
O fluxo de eventos
Um evento carrega um carimbo de tempo, uma ação, um tipo de geometria e um número inteiro.
| Ação | Significado | O inteiro |
|---|---|---|
shape_add | Uma forma foi confirmada | Vértices: 4 para uma caixa, len(points) para um polígono, 0 para uma máscara |
shape_edit | Uma forma existente foi movida ou remodelada | — |
shape_remove | Uma forma foi excluída | — |
stroke | Um traço de pincel ou borracha terminou | Comprimento do traço em pixels da imagem |
fill | Preenchimento por inundação aplicado | Pixels preenchidos |
zoom | O nível de zoom mudou | Nível × 100 |
pan | Um arraste de deslocamento terminou | Distância em pixels da tela |
tool, undo, redo | — | |
ai_suggest | Uma sugestão foi exibida ao anotador | — |
ai_accept / ai_reject | — |
Nenhuma coordenada é registrada, nunca. Um fluxo reconstrói como uma anotação foi feita, mas não consegue reconstruir a anotação. Essa é uma propriedade estrutural do registro de eventos, e não uma política. Não há campo onde uma coordenada possa entrar, e um teste afirma isso.
O comprimento do traço é em pixels da imagem, e não da tela, de modo que o mesmo traço tem a mesma medida estando o anotador com zoom aproximado ou afastado.
Configuração
annotation_telemetry:
enabled: true
fidelity: events # off | summary | events
store_events: true
include_schemas: [] # empty means every geometry schema
exclude_schemas: []
idle_ms: 120000 # a gap above this is idle, not active
flush_interval_ms: 10000Exemplo executável: examples/advanced/annotation-telemetry/.
O sinal que muda decisões
A latência de aceitação de IA. Uma sequência de aceitações abaixo de 500 ms ao longo de muitos itens é carimbo automático, e nenhum outro número separa isso de uma concordância cuidadosa.
Leia-a como uma distribuição, e não como um limiar. Uma aceitação rápida é um objeto fácil, enquanto uma mediana de 300 ms ao longo de duzentos itens é um achado diferente, e não é um que se alcance a partir das próprias anotações.
Limites do sinal
Isto relata sinais de processo. Não detecta fraude e não classifica um anotador. Um alerta é um convite para olhar, e não uma conclusão, e a taxa de base importa: em um corpus no qual a maioria dos itens é realmente fácil, rápido costuma ser o correto.
O gêmeo do lado do texto é o registro de teclas, que relata como uma resposta de texto livre foi produzida. Juntos, eles são a resposta honesta para "como você sabe que seus trabalhadores de crowdsourcing não estão colando de um LLM", e a resposta honesta é um conjunto de sinais de processo com calibração por projeto, e não um classificador.
Os anotadores veem um aviso de gravação. Essa é a diferença entre um instrumento de pesquisa e vigilância, e a divulgação vem ativada por padrão.