드로잉 텔레메트리

사전 라벨링은 주석자를 빠르게 만들고, 동시에 형식적 승인을 아무 저항 없이 만듭니다. 제안이 뜨고, 주석자가 수락을 누르고, 그렇게 만들어진 데이터셋은 모델이 자기 자신에게 동의한 기록이 됩니다. 주석 안에는 그것을 꼼꼼한 검토와 구분해줄 것이 아무것도 없습니다. 도형은 똑같고, 주석자 간 일치도를 포함한 모든 품질 지표는 오히려 좋아 보입니다.

차이가 드러나는 유일한 곳이 소요 시간입니다.

사람이 마스크 경계를 살펴보고 300밀리초 만에 판단할 수는 없습니다. 대상이 명백했다면 한 번쯤은 그럴 수 있습니다. 하지만 많은 항목에 걸친 중앙값으로서는, 그것은 숙련된 속도가 아닙니다.

원클릭 자동 라벨링이 표준이 되어갈수록, 이것이 검토와 형식적 승인을 갈라놓는 신호가 됩니다. 2.8 릴리스에서 가장 과소평가된 기능입니다.

이벤트 스트림

이벤트는 타임스탬프, 액션, 도형 종류, 그리고 정수 하나를 담습니다.

좌표는 절대 기록되지 않습니다. 스트림은 주석이 어떻게 만들어졌는지를 재구성할 수 있을 뿐, 주석 자체는 재구성할 수 없습니다. 이는 정책이 아니라 이벤트 기록의 구조적 성질입니다. 좌표가 들어갈 필드가 아예 없고, 테스트가 그것을 보장합니다.

스트로크 길이는 화면 픽셀이 아니라 이미지 픽셀 단위이므로, 주석자가 확대했든 축소했든 같은 스트로크는 같은 값으로 측정됩니다.

설정

annotation_telemetry:
  enabled: true
  fidelity: events           # off | summary | events
  store_events: true
  include_schemas: []        # empty means every geometry schema
  exclude_schemas: []
  idle_ms: 120000            # a gap above this is idle, not active
  flush_interval_ms: 10000

실행 가능한 예제: examples/advanced/annotation-telemetry/.

판단을 바꾸는 신호

AI 수용 지연. 여러 항목에 걸쳐 500밀리초 미만의 수용이 연달아 나온다면 그것은 형식적 승인이며, 그것을 신중한 동의와 갈라놓을 수 있는 다른 수치는 없습니다.

임계값이 아니라 분포로 읽으십시오. 빠른 수용 하나는 쉬운 대상입니다. 이백 개 항목에 걸친 중앙값이 300밀리초라면 그것은 다른 이야기이며, 주석 자체만으로는 결코 도달할 수 없는 발견입니다.

이 신호의 한계

여기서 보고하는 것은 과정 신호입니다. 부정행위를 탐지하지 않으며, 주석자를 분류하지도 않습니다. 플래그는 들여다보라는 신호이지 결론이 아니며, 기저율도 중요합니다. 대부분의 항목이 실제로 쉬운 코퍼스라면 빠른 것이 대개 옳습니다.

텍스트 쪽 대응물은 키스트로크 로깅으로, 자유 서술 답변이 어떻게 작성되었는지를 보고합니다. 둘을 합친 것이 "크라우드워커가 LLM에서 붙여넣지 않았다는 걸 어떻게 아느냐"에 대한 정직한 답이며, 그 답은 프로젝트별로 보정된 과정 신호의 집합이지 분류기가 아닙니다.

주석자에게는 기록 중이라는 안내가 표시됩니다. 그것이 연구 도구와 감시를 가르는 차이이며, 이 고지는 기본적으로 켜져 있습니다.

관련 문서

• 키스트로크 로깅
• 키스트로크 로깅의 윤리
• 가이드: 형식적으로 승인된 사전 라벨 가려내기
• 소스 문서