Télémétrie du dessin
Comment une boîte, un polygone ou un masque a été produit. Le temps par forme, la dynamique des traits, le nombre de révisions et la latence d'acceptation de l'IA distinguent la relecture de la validation automatique.
Le pré-étiquetage rend les annotateurs plus rapides, et il rend la validation automatique sans friction. Une suggestion apparaît, l'annotateur clique sur accepter, et le jeu de données obtenu est la trace d'un modèle d'accord avec lui-même. Rien dans l'annotation ne distingue cela d'une relecture soigneuse. La géométrie est identique, et l'accord inter-annotateurs monte alors que l'exactitude non, parce que des annotateurs qui acceptent la même suggestion sont unanimes par construction.
La différence se voit dans le rythme du travail.
Un humain ne peut pas inspecter la frontière d'un masque et décider en 300 ms. Une fois, peut-être, si l'objet était évident. En médiane sur de nombreux items, ce n'est pas de l'expertise rapide.
Le pré-étiquetage par modèle est une fonctionnalité standard des plateformes d'annotation actuelles, dont les pré-annotations de Label Studio, l'annotation automatisée de CVAT et l'Auto-Annotate de V7. Partout où elle est activée, la latence d'acceptation est le signal qui sépare la relecture de la validation automatique.
Le flux d'événements
Un événement porte un horodatage, une action, un type de géométrie et un entier.
| Action | Signification | L'entier |
|---|---|---|
shape_add | Une forme a été validée | Sommets : 4 pour une boîte, len(points) pour un polygone, 0 pour un masque |
shape_edit | Une forme existante a été déplacée ou remodelée | — |
shape_remove | Une forme a été supprimée | — |
stroke | Un trait de pinceau ou de gomme est terminé | Longueur du trait en pixels de l'image |
fill | Un remplissage a été appliqué | Pixels remplis |
zoom | Le niveau de zoom a changé | Niveau × 100 |
pan | Un glissement de panoramique est terminé | Distance en pixels d'écran |
tool, undo, redo | — | |
ai_suggest | Une suggestion a été affichée à l'annotateur | — |
ai_accept / ai_reject | — |
Aucune coordonnée n'est jamais enregistrée. Un flux permet de reconstituer comment une annotation a été faite ; il ne permet pas de reconstituer l'annotation. C'est une propriété structurelle de l'enregistrement d'événements plutôt qu'une politique. Il n'existe aucun champ où une coordonnée pourrait aller, et un test le vérifie.
La longueur du trait est en pixels de l'image plutôt qu'en pixels d'écran, si bien que le même trait se mesure de la même façon que l'annotateur ait zoomé ou dézoomé.
Configuration
annotation_telemetry:
enabled: true
fidelity: events # off | summary | events
store_events: true
include_schemas: [] # empty means every geometry schema
exclude_schemas: []
idle_ms: 120000 # a gap above this is idle, not active
flush_interval_ms: 10000Exemple exécutable : examples/advanced/annotation-telemetry/.
Le signal qui change les décisions
La latence d'acceptation de l'IA. Une série d'acceptations en moins de 500 ms sur de nombreux items est de la validation automatique, et aucun autre chiffre ne la sépare d'un accord soigneux.
Lisez-la comme une distribution, non comme un seuil. Une acceptation rapide correspond à un objet facile ; une médiane de 300 ms sur deux cents items est un constat différent, que l'on ne peut pas atteindre à partir des annotations elles-mêmes.
Limites du signal
Cela rapporte des signaux de processus. Cela ne détecte pas la fraude et ne classe pas un annotateur. Un signalement est une incitation à regarder, non un constat, et le taux de base compte : dans un corpus où la plupart des items sont réellement faciles, aller vite est souvent correct.
Son jumeau côté texte est l'enregistrement des frappes, qui rapporte comment une réponse libre a été produite. Ensemble, ils constituent la réponse honnête à « comment savez-vous que vos travailleurs participatifs ne collent pas du texte d'un LLM » — et la réponse honnête est un ensemble de signaux de processus avec une calibration par projet, non un classifieur.
Les annotateurs voient un avis d'enregistrement. C'est ce qui sépare un instrument de recherche de la surveillance, et la divulgation est activée par défaut.