사전 라벨링된 데이터에서 검토와 형식적 승인을 구분하는 방법

사전 라벨링은 주석자를 빠르게 만들고 형식적 승인을 아무 저항 없이 만들며, 주석 자체에서 계산되는 어떤 지표도 이 둘을 구분하지 못합니다. 도형은 똑같고, 주석자 간 일치도는 오히려 올라갑니다. 모두가 같은 모델 출력을 수용하면 구조적으로 만장일치가 되기 때문입니다.

차이가 드러나는 유일한 곳이 소요 시간입니다.

왜 품질 지표가 여기서 무력한가

모델이 모든 이미지에 사전 라벨을 붙이고 주석자 세 명이 거의 전부를 수용했다고 해봅시다.

• 일치도가 올라갑니다. 모두가 모델의 출력을 기록하기 때문입니다.
• 정답 데이터 대비 정확도도 모델이 맞는 범위에서는 올라갑니다. 그리고 모델은 대체로 맞습니다.
• 조정 건수는 줄어듭니다. 조정할 것이 없기 때문입니다.

모든 대시보드가 좋아 보입니다. 그러나 그 데이터셋은 모델이 자기 자신에게 동의한 기록이 되었고, 그 오류는 무작위가 아니라 체계적입니다. 이것이 가장 나쁜 종류의 오류입니다. 주석자들 사이에서 평균을 내도 상쇄되지 않기 때문입니다.

2026년의 작업 흐름에서 이는 가정이 아닙니다. 원클릭 자동 라벨링이 업계 전반에서 기본이 되어 가고 있는데, 신뢰도 문헌에는 이를 위한 측도가 없습니다. 우연 일치를 보정한 일치도는 독립적인 판단을 전제로 설계되었고, 이 경우는 독립적이지 않기 때문입니다.

무엇을 기록할 것인가

개별 수용 단위의 소요 시간입니다.

이 가운데 어느 것도 좌표를 필요로 하지 않으며, 수집해서도 안 됩니다. 주석을 재구성할 수 없는 과정 기록은 윤리위원회에 설명하기 훨씬 쉽고, 질문에도 그만큼 잘 답해 줍니다.

수치를 읽는 법

사람이 마스크 경계를 살펴보고 300밀리초 만에 판단할 수는 없습니다. 대상이 명백했다면 한 번쯤은 그럴 수 있습니다. 하지만 많은 항목에 걸친 중앙값으로서는, 그것은 숙련된 속도가 아닙니다.

한 항목의 임계값이 아니라 분포로 읽으십시오. 실무에서 통하는 세 가지 원칙이 있습니다.

1. 각 주석자를 상수가 아니라 프로젝트와 비교한다. 쉬운 코퍼스는 실제로 빠릅니다. 자기 프로젝트 안에서의 백분위 보정만이 방어 가능한 기준선입니다.
2. 연속 구간을 찾는다. 500밀리초 미만 수용이 스무 번 연달아 나오는 것은 흩어져 스무 번 나오는 것보다 훨씬 강한 신호입니다.
3. 제안이 있었는지로 나눈다. 그 주석자 본인의 그리기 속도가 수용 속도에 대한 자연스러운 대조군입니다.

이것이 할 수 없는 일

부정행위를 탐지하지 않으며, 주석자를 분류하지도 않습니다. 플래그는 들여다보라는 신호이지 결론이 아닙니다.

기저율은 중요하고 잊기 쉽습니다. 항목의 80%가 정말로 사소한 코퍼스라면 빠른 것이 대개 옳고, 형식적 승인을 잡도록 조정한 규칙은 대부분 유능함을 잡아내게 됩니다. 임계값이 배포되는 모델이 아니라 당신의 프로젝트에 속해야 하는 이유입니다.

Potato에서 하는 법

annotation_telemetry:
  enabled: true
  fidelity: events
  idle_ms: 120000

자유 서술 답변에 대응하는 것은 키스트로크 로깅으로, 직접 작성한 텍스트와 옮겨 적은 텍스트, 붙여넣은 텍스트를 구분합니다. 이는 keydown이 아니라 beforeinput에서 포착합니다. 붙여넣기, 드롭, IME, 받아쓰기, 자동 완성은 모두 keydown을 발생시키지 않고 필드를 바꾸므로, keydown만 보는 로거는 정작 잡아야 할 경우를 놓치기 때문입니다.

둘 다 사전 학습된 분류기를 포함하지 않습니다. 형식적 승인에 대한 라벨링된 코퍼스가 존재하지 않으며, 적합시킨 계수를 검증된 것처럼 제시한다면 그것은 지어낸 검증이 됩니다.

윤리

주석자에게는 기록 중이라는 안내가 표시되며, 이 고지는 기본적으로 켜져 있습니다. 여기가 연구 도구와 감시를 가르는 선이며, 동의서에는 무엇을 기록하는지(소요 시간과 과정), 무엇을 기록하지 않는지(내용과 좌표), 얼마나 보관하는지, 어디에 쓸 것인지를 분명히 밝혀 둘 가치가 있습니다.

동의 문구 예시와 보관 기간에 관한 쟁점은 키스트로크 로깅의 윤리를 참고하십시오.

더 읽을거리

• 드로잉 텔레메트리
• 키스트로크 로깅
• 골드 스탠더드와 주의 확인 문항
• LLM 사전 주석