Zeichen-Telemetrie
Wie eine Box, ein Polygon oder eine Maske entstanden ist — Zeit pro Form, Strichdynamik, Anzahl der Überarbeitungen und Latenz beim Annehmen von KI-Vorschlägen. Das einzige Signal, das Prüfung von bloßem Abnicken trennt.
Vorab-Labeling macht Annotierende schneller und macht das Abnicken reibungslos. Ein Vorschlag erscheint, die annotierende Person klickt auf Annehmen, und der entstehende Datensatz ist das Protokoll eines Modells, das sich selbst zustimmt. Nichts in der Annotation unterscheidet das von sorgfältiger Prüfung. Die Geometrie ist identisch, und jedes Qualitätsmaß sieht besser aus, die Inter-Annotator-Übereinstimmung eingeschlossen.
Der einzige Ort, an dem der Unterschied sichtbar wird, ist die Zeit.
Ein Mensch kann eine Maskengrenze nicht in 300 ms prüfen und entscheiden. Einmal vielleicht, wenn das Objekt offensichtlich war. Als Median über viele Elemente ist das keine schnelle Expertise.
Je mehr Ein-Klick-Autolabeling zur Norm wird, desto mehr ist dies das Signal, das Prüfung vom Abnicken trennt. Es ist die am meisten unterschätzte Fähigkeit im 2.8-Release.
Der Ereignisstrom
Ein Ereignis trägt einen Zeitstempel, eine Aktion, eine Geometrieart und eine ganze Zahl.
| Aktion | Bedeutung | Die Zahl |
|---|---|---|
shape_add | Eine Form wurde festgeschrieben | Eckpunkte: 4 bei einer Box, len(points) bei einem Polygon, 0 bei einer Maske |
shape_edit | Eine bestehende Form wurde verschoben oder umgeformt | — |
shape_remove | Eine Form wurde gelöscht | — |
stroke | Ein Pinsel- oder Radierstrich wurde beendet | Strichlänge in Bildpixeln |
fill | Füllwerkzeug angewendet | Gefüllte Pixel |
zoom | Zoomstufe geändert | Stufe × 100 |
pan | Ein Verschiebe-Zug wurde beendet | Distanz in Bildschirmpixeln |
tool, undo, redo | — | |
ai_suggest | Ein Vorschlag wurde angezeigt | — |
ai_accept / ai_reject | — |
Es werden niemals Koordinaten aufgezeichnet. Ein Strom rekonstruiert, wie eine Annotation entstand; er kann die Annotation nicht rekonstruieren. Das ist eine strukturelle Eigenschaft des Ereignisprotokolls, keine Richtlinie. Es gibt kein Feld, in das eine Koordinate passen könnte, und ein Test sichert das ab.
Die Strichlänge wird in Bildpixeln statt Bildschirmpixeln gemessen, sodass derselbe Strich gleich misst, ob heran- oder herausgezoomt wurde.
Konfiguration
annotation_telemetry:
enabled: true
fidelity: events # off | summary | events
store_events: true
include_schemas: [] # empty means every geometry schema
exclude_schemas: []
idle_ms: 120000 # a gap above this is idle, not active
flush_interval_ms: 10000Lauffähiges Beispiel: examples/advanced/annotation-telemetry/.
Das Signal, das Entscheidungen ändert
KI-Annahmelatenz. Eine Serie von Annahmen unter 500 ms über viele Elemente hinweg ist Abnicken, und keine andere Kennzahl trennt das von sorgfältiger Zustimmung.
Lesen Sie es als Verteilung, nicht als Schwellenwert. Eine schnelle Annahme ist ein leichtes Objekt; ein Median von 300 ms über zweihundert Elemente ist ein anderer Befund, und einer, zu dem man aus den Annotationen selbst nicht gelangt.
Grenzen des Signals
Berichtet werden Prozesssignale. Betrug wird nicht erkannt, und es wird keine annotierende Person klassifiziert. Eine Markierung ist ein Anlass hinzusehen, kein Befund, und die Grundrate zählt: In einem Korpus, in dem die meisten Elemente wirklich leicht sind, ist schnell oft richtig.
Das Gegenstück auf der Textseite ist das Tastendruck-Logging, das berichtet, wie eine Freitextantwort entstand. Zusammen sind sie die ehrliche Antwort auf „Woher wissen Sie, dass Ihre Crowdworker nicht aus einem LLM einfügen" — und die ehrliche Antwort ist eine Menge von Prozesssignalen mit projektweiser Kalibrierung, kein Klassifikator.
Annotierende sehen einen Aufzeichnungshinweis. Das ist der Unterschied zwischen einem Forschungsinstrument und Überwachung, und die Offenlegung ist standardmäßig aktiv.