Aller au contenu

Télémétrie du dessin

Comment une boîte, un polygone ou un masque a été produit. Le temps par forme, la dynamique des traits, le nombre de révisions et la latence d'acceptation de l'IA distinguent la relecture de la validation automatique.

Le pré-étiquetage rend les annotateurs plus rapides, et il rend la validation automatique sans friction. Une suggestion apparaît, l'annotateur clique sur accepter, et le jeu de données obtenu est la trace d'un modèle d'accord avec lui-même. Rien dans l'annotation ne distingue cela d'une relecture soigneuse. La géométrie est identique, et l'accord inter-annotateurs monte alors que l'exactitude non, parce que des annotateurs qui acceptent la même suggestion sont unanimes par construction.

La différence se voit dans le rythme du travail.

Un humain ne peut pas inspecter la frontière d'un masque et décider en 300 ms. Une fois, peut-être, si l'objet était évident. En médiane sur de nombreux items, ce n'est pas de l'expertise rapide.

Le pré-étiquetage par modèle est une fonctionnalité standard des plateformes d'annotation actuelles, dont les pré-annotations de Label Studio, l'annotation automatisée de CVAT et l'Auto-Annotate de V7. Partout où elle est activée, la latence d'acceptation est le signal qui sépare la relecture de la validation automatique.

Le flux d'événements

Un événement porte un horodatage, une action, un type de géométrie et un entier.

ActionSignificationL'entier
shape_addUne forme a été validéeSommets : 4 pour une boîte, len(points) pour un polygone, 0 pour un masque
shape_editUne forme existante a été déplacée ou remodelée—
shape_removeUne forme a été supprimée—
strokeUn trait de pinceau ou de gomme est terminéLongueur du trait en pixels de l'image
fillUn remplissage a été appliquéPixels remplis
zoomLe niveau de zoom a changéNiveau × 100
panUn glissement de panoramique est terminéDistance en pixels d'écran
tool, undo, redo—
ai_suggestUne suggestion a été affichée à l'annotateur—
ai_accept / ai_reject—

Aucune coordonnée n'est jamais enregistrée. Un flux permet de reconstituer comment une annotation a été faite ; il ne permet pas de reconstituer l'annotation. C'est une propriété structurelle de l'enregistrement d'événements plutôt qu'une politique. Il n'existe aucun champ où une coordonnée pourrait aller, et un test le vérifie.

La longueur du trait est en pixels de l'image plutôt qu'en pixels d'écran, si bien que le même trait se mesure de la même façon que l'annotateur ait zoomé ou dézoomé.

Configuration

yaml
annotation_telemetry:
  enabled: true
  fidelity: events           # off | summary | events
  store_events: true
  include_schemas: []        # empty means every geometry schema
  exclude_schemas: []
  idle_ms: 120000            # a gap above this is idle, not active
  flush_interval_ms: 10000

Exemple exécutable : examples/advanced/annotation-telemetry/.

Le signal qui change les décisions

La latence d'acceptation de l'IA. Une série d'acceptations en moins de 500 ms sur de nombreux items est de la validation automatique, et aucun autre chiffre ne la sépare d'un accord soigneux.

Lisez-la comme une distribution, non comme un seuil. Une acceptation rapide correspond à un objet facile ; une médiane de 300 ms sur deux cents items est un constat différent, que l'on ne peut pas atteindre à partir des annotations elles-mêmes.

Limites du signal

Cela rapporte des signaux de processus. Cela ne détecte pas la fraude et ne classe pas un annotateur. Un signalement est une incitation à regarder, non un constat, et le taux de base compte : dans un corpus où la plupart des items sont réellement faciles, aller vite est souvent correct.

Son jumeau côté texte est l'enregistrement des frappes, qui rapporte comment une réponse libre a été produite. Ensemble, ils constituent la réponse honnête à « comment savez-vous que vos travailleurs participatifs ne collent pas du texte d'un LLM » — et la réponse honnête est un ensemble de signaux de processus avec une calibration par projet, non un classifieur.

Les annotateurs voient un avis d'enregistrement. C'est ce qui sépare un instrument de recherche de la surveillance, et la divulgation est activée par défaut.

Voir aussi