Pular para o conteúdo

Telemetria de desenho

Como uma caixa, um polígono ou uma máscara foi produzido. Tempo por forma, dinâmica dos traços, número de revisões e latência de aceitação de IA separam revisão de carimbo automático.

A pré-rotulagem deixa os anotadores mais rápidos, e torna o carimbo automático sem atrito. Uma sugestão aparece, o anotador clica em aceitar, e o conjunto de dados resultante é um registro de um modelo concordando consigo mesmo. Nada na anotação distingue isso de uma revisão cuidadosa. A geometria é idêntica, e a concordância entre anotadores sobe sem que a acurácia suba, porque anotadores que aceitam a mesma sugestão são unânimes por construção.

A diferença aparece no tempo do trabalho.

Um humano não consegue inspecionar o contorno de uma máscara e decidir em 300 ms. Uma vez, talvez, se o objeto fosse óbvio. Como mediana ao longo de muitos itens, isso não é perícia rápida.

A pré-rotulagem por modelo é um recurso padrão das plataformas de anotação atuais, incluindo as pré-anotações do Label Studio, a anotação automatizada do CVAT e o Auto-Annotate do V7. Onde quer que esteja ativada, a latência de aceitação é o sinal que separa revisão de carimbo automático.

O fluxo de eventos

Um evento carrega um carimbo de tempo, uma ação, um tipo de geometria e um número inteiro.

AçãoSignificadoO inteiro
shape_addUma forma foi confirmadaVértices: 4 para uma caixa, len(points) para um polígono, 0 para uma máscara
shape_editUma forma existente foi movida ou remodelada—
shape_removeUma forma foi excluída—
strokeUm traço de pincel ou borracha terminouComprimento do traço em pixels da imagem
fillPreenchimento por inundação aplicadoPixels preenchidos
zoomO nível de zoom mudouNível × 100
panUm arraste de deslocamento terminouDistância em pixels da tela
tool, undo, redo—
ai_suggestUma sugestão foi exibida ao anotador—
ai_accept / ai_reject—

Nenhuma coordenada é registrada, nunca. Um fluxo reconstrói como uma anotação foi feita, mas não consegue reconstruir a anotação. Essa é uma propriedade estrutural do registro de eventos, e não uma política. Não há campo onde uma coordenada possa entrar, e um teste afirma isso.

O comprimento do traço é em pixels da imagem, e não da tela, de modo que o mesmo traço tem a mesma medida estando o anotador com zoom aproximado ou afastado.

Configuração

yaml
annotation_telemetry:
  enabled: true
  fidelity: events           # off | summary | events
  store_events: true
  include_schemas: []        # empty means every geometry schema
  exclude_schemas: []
  idle_ms: 120000            # a gap above this is idle, not active
  flush_interval_ms: 10000

Exemplo executável: examples/advanced/annotation-telemetry/.

O sinal que muda decisões

A latência de aceitação de IA. Uma sequência de aceitações abaixo de 500 ms ao longo de muitos itens é carimbo automático, e nenhum outro número separa isso de uma concordância cuidadosa.

Leia-a como uma distribuição, e não como um limiar. Uma aceitação rápida é um objeto fácil, enquanto uma mediana de 300 ms ao longo de duzentos itens é um achado diferente, e não é um que se alcance a partir das próprias anotações.

Limites do sinal

Isto relata sinais de processo. Não detecta fraude e não classifica um anotador. Um alerta é um convite para olhar, e não uma conclusão, e a taxa de base importa: em um corpus no qual a maioria dos itens é realmente fácil, rápido costuma ser o correto.

O gêmeo do lado do texto é o registro de teclas, que relata como uma resposta de texto livre foi produzida. Juntos, eles são a resposta honesta para "como você sabe que seus trabalhadores de crowdsourcing não estão colando de um LLM", e a resposta honesta é um conjunto de sinais de processo com calibração por projeto, e não um classificador.

Os anotadores veem um aviso de gravação. Essa é a diferença entre um instrumento de pesquisa e vigilância, e a divulgação vem ativada por padrão.

Relacionados