Telemetria di disegno
Come sono stati prodotti un box, un poligono o una maschera — tempo per forma, dinamica del tratto, numero di revisioni e latenza di accettazione dei suggerimenti dell'IA. L'unico segnale che separa la revisione dall'accettazione automatica.
La pre-etichettatura rende gli annotatori più veloci, e rende l'accettazione automatica priva di attrito. Compare un suggerimento, l'annotatore clicca accetta, e il dataset che ne risulta è il verbale di un modello che concorda con se stesso. Nell'annotazione non c'è nulla che distingua questo da una revisione attenta. La geometria è identica, e ogni misura di qualità sembra migliore, accordo tra annotatori incluso.
L'unico posto in cui la differenza emerge è il tempo.
Una persona non può ispezionare il confine di una maschera e decidere in 300 ms. Una volta forse sì, se l'oggetto era ovvio. Come mediana su molti elementi, non è competenza rapida.
Man mano che l'etichettatura automatica a un clic diventa la norma, questo è il segnale che separa la revisione dall'accettazione automatica. È la capacità più sottovalutata della release 2.8.
Il flusso di eventi
Un evento porta un timestamp, un'azione, un tipo di geometria e un intero.
| Azione | Significato | L'intero |
|---|---|---|
shape_add | Una forma è stata confermata | Vertici: 4 per un box, len(points) per un poligono, 0 per una maschera |
shape_edit | Una forma esistente è stata spostata o rimodellata | — |
shape_remove | Una forma è stata eliminata | — |
stroke | Un tratto di pennello o gomma è terminato | Lunghezza del tratto in pixel immagine |
fill | Riempimento applicato | Pixel riempiti |
zoom | Livello di zoom cambiato | Livello × 100 |
pan | Un trascinamento è terminato | Distanza in pixel schermo |
tool, undo, redo | — | |
ai_suggest | Un suggerimento è stato mostrato all'annotatore | — |
ai_accept / ai_reject | — |
Non viene mai registrata alcuna coordinata. Un flusso ricostruisce come è stata prodotta un'annotazione; non può ricostruire l'annotazione. È una proprietà strutturale del registro eventi, non una policy. Non esiste un campo in cui una coordinata possa finire, e un test lo verifica.
La lunghezza del tratto è in pixel immagine anziché pixel schermo, così lo stesso tratto misura lo stesso sia che l'annotatore fosse ingrandito sia che fosse rimpicciolito.
Configurazione
annotation_telemetry:
enabled: true
fidelity: events # off | summary | events
store_events: true
include_schemas: [] # empty means every geometry schema
exclude_schemas: []
idle_ms: 120000 # a gap above this is idle, not active
flush_interval_ms: 10000Esempio eseguibile: examples/advanced/annotation-telemetry/.
Il segnale che cambia le decisioni
Latenza di accettazione dell'IA. Una serie di accettazioni sotto i 500 ms su molti elementi è accettazione automatica, e nessun altro dato separa questo da un accordo attento.
Leggilo come una distribuzione, non come una soglia. Un'accettazione veloce è un oggetto facile; una mediana di 300 ms su duecento elementi è un risultato diverso, e non è un risultato a cui si possa arrivare dalle annotazioni stesse.
Limiti del segnale
Qui si riportano segnali di processo. Non si rileva la frode e non si classifica un annotatore. Una segnalazione è un invito a guardare, non una conclusione, e il tasso di base conta: in un corpus in cui la maggior parte degli elementi è davvero facile, veloce spesso significa corretto.
Il gemello sul lato testo è il logging dei tasti, che riporta come è stata prodotta una risposta libera. Insieme sono la risposta onesta a «come fai a sapere che i tuoi crowdworker non stanno incollando da un LLM», e la risposta onesta è un insieme di segnali di processo con calibrazione per progetto, non un classificatore.
Gli annotatori vedono un avviso di registrazione. È la differenza tra uno strumento di ricerca e la sorveglianza, e l'informativa è attiva per impostazione predefinita.