본문으로 건너뛰기
가이드9분 분량

타이밍 기록으로 맹목적으로 승인된 사전 레이블 찾아내기

주석자가 모델의 사전 레이블을 읽지 않고 수락하면 일치도는 오르고 조정 작업은 줄어듭니다. 타이밍 기록은 검토와 맹목적 승인을 구별해 줍니다.

Potato Team

주석자가 모델의 사전 레이블을 읽지 않고 수락하면 주석자 간 일치도가 올라가므로, 일치도로는 맹목적으로 승인하는 주석자와 꼼꼼한 주석자를 구별할 수 없습니다. 차이는 작업이 어떻게 이루어졌는지에만 나타나며, 둘을 가르는 신호는 타이밍입니다.

여기서 맹목적 승인(rubber-stamping)이란 모델의 사전 레이블을 읽지 않고 수락하는 것을 뜻합니다. 모델이 코퍼스에 사전 레이블을 달고 주석자 세 명이 이를 검토하는 경우를 생각해 봅시다. 두 명은 제안을 하나하나 읽고 틀린 곳을 고치며, 세 번째 사람은 보지도 않고 모두 수락합니다.

그 연구에서 통상적인 품질 지표를 계산해 보면 다음과 같습니다.

  • 주석자 간 일치도는 올라갑니다. 세 번째 주석자가 모델과 정확히 일치하고, 나머지 두 사람이 수락한 것 대부분도 마찬가지이기 때문입니다.
  • 골드 스탠더드 정확도는 모델이 맞는 곳, 곧 대부분의 경우에 올라갑니다.
  • 조정(adjudication) 분량은 조정할 것이 줄어들기 때문에 내려갑니다.

모든 대시보드가 좋아 보입니다. 일치도로 보면 아무 일도 하지 않은 주석자가 일을 한 두 사람과 구별되지 않으며, 특이한 수정을 도입하는 일이 없으므로 오히려 가장 좋은 주석자처럼 보입니다. 골드 항목은 모델이 틀린 곳에서만 맹목적 승인자를 잡아내는데, 모델은 대부분의 항목에서 맞습니다.

사전 레이블링 아래의 우연 보정 일치도

우연 보정 일치도는 독립적인 판단을 전제로 설계되었고, 이 가정이 있기에 우연 기준선이 의미를 갖습니다. 사전 레이블링은 이 가정을 깨뜨립니다. 같은 제안을 수락한 두 주석자는 독립적으로 같은 답에 이른 것이 아니라 출처를 공유한 것입니다. 계수는 여전히 계산할 수 있지만, 그 해석이 말하는 뜻을 더는 갖지 않습니다.

모델 사전 레이블링은 Label Studio의 사전 주석, CVAT의 자동 주석, V7의 Auto-Annotate 등 현재 주석 플랫폼의 표준 기능입니다. 이 기능이 켜져 있는 곳에서는 모델이 먼저 라벨링한 모든 항목에서 독립성 가정이 깨지며, 계수는 모델과의 일치를 사람 사이의 일치로 셉니다.

맹목적으로 승인된 사전 레이블의 타이밍 신호

모델이 맞은 경우에는 맹목적 승인과 꼼꼼한 검토가 바이트 단위로 동일한 출력을 내므로, 주석 안에는 둘을 구별해 주는 것이 없습니다. 찾아낼 내용상의 신호가 없으므로 차이는 과정에서만 나타납니다. 사람은 마스크 경계를 살펴보고 300ms 안에 판단할 수 없으며, 명백한 객체에 대해 한 번쯤은 가능할지 모릅니다. 그러나 여러 항목에 걸친 중앙값으로서 300ms의 판단은 빠른 전문성이 아닙니다.

그래서 Potato는 도형별 소요 시간, 획의 동역학, 수정 횟수, 확대 동작, 그리고 제안이 렌더링된 시점부터 수락될 때까지의 시간인 AI 제안 수락 지연 시간을 기록합니다. 수락 지연 시간은 판단을 가장 자주 바꾸는 신호입니다.

내용은 기록하지 않고 과정만 기록하기

주석자가 어떻게 작업하는지를 기록하면 감시가 아니냐는 정당한 반론이 따릅니다. Potato는 설계로 이에 답하는데, 이벤트 기록으로는 주석을 재구성할 수 없기 때문입니다. 이벤트에는 타임스탬프, 동작, 도형 종류, 정수 하나가 들어 있고 좌표는 결코 들어 있지 않습니다. 좌표를 넣을 필드가 없으므로 이 부재는 정책이 아니라 구조적 성질이며, 테스트가 이를 검증합니다. 주석자는 기록 안내도 보게 되며 공개는 기본적으로 켜져 있어서, 연구 도구와 감시의 경계를 긋습니다.

키 입력 로깅은 같은 원칙을 텍스트에 적용합니다. 타이밍과 편집 구조는 기록하되 문자는 기록하지 않습니다. 붙여넣기, 드롭, IME, 음성 받아쓰기, 자동 완성은 모두 keydown을 일으키지 않고 필드를 바꾸므로, keydown이 아닌 beforeinput에서 캡처합니다. 따라서 keydown만 보는 로거는 감지하려는 바로 그 경우에 눈이 멉니다. 나타난 문자와 실제로 눌린 키 사이의 차이가 가장 강력한 단일 신호입니다.

감지 규칙과 그 규칙이 뒷받침하는 주장

사전 학습된 분류기는 제공하지 않습니다. 맹목적 승인에 대한 라벨링된 코퍼스가 없으며, 적합된 계수를 검증된 것처럼 내놓으면 검증을 날조하는 셈이 됩니다. 감지는 대신 근거가 눈에 보이는 몇 가지 투명한 규칙과 프로젝트별 백분위 보정으로 이루어집니다.

AI가 쓴 주석을 감지한다고 주장하지도 않습니다. 데이터가 뒷받침하는 것은 "입력한 것이 아니라 붙여넣은 응답을 드러낸다"까지이고, "AI가 생성한 텍스트를 감지한다"는 아닙니다. 이 차이는 누군가 플래그를 근거로 조치를 취하려 할 때 중요합니다.

타이밍 신호를 분포로 읽기

타이밍은 항목 하나에 대한 임계값이 아니라 항목들에 걸친 분포로 읽으세요. 다음 세 규칙이 유효합니다.

  1. 각 주석자를 상수가 아니라 프로젝트와 비교하세요. 쉬운 코퍼스는 실제로 빠릅니다. 자기 프로젝트 안에서의 백분위 보정만이 방어할 수 있는 기준선입니다.
  2. 연속 구간을 찾으세요. 연속으로 500ms 미만에 이루어진 수락 20건은 한 세션에 흩어진 20건보다 훨씬 강한 신호입니다.
  3. 제안이 있었는지에 따라 나누세요. 주석자 본인의 그리기 속도가 수락 속도에 대한 자연스러운 대조군입니다.

기저율도 중요합니다. 항목의 80%가 실제로 사소한 코퍼스에서는 빠른 것이 대개 옳으며, 맹목적 승인을 잡도록 조정한 규칙은 대부분 유능함을 잡게 됩니다. 플래그는 그 자체로 결론이 아니라 살펴보라는 신호입니다.

타이밍 기록이 없는 사전 레이블 연구

사전 레이블이 달린 주석 연구를 진행하면서 타이밍을 기록하지 않고 있다면, 주석자가 검토하고 있는지 수락하고 있는지 현재로서는 알 방법이 없습니다. 일치도 통계는 알려 주지 않으며, 오히려 좋아 보일 것입니다. 사전 레이블링은 실제로 도움이 되므로, 대응책은 사용을 멈추는 것이 아니라 그것이 무엇을 바꾸는지 측정하는 것입니다. 검토와 맹목적 승인 구별하기는 무엇을 기록할지와 Potato에서 설정하는 방법을 다룹니다.

더 읽어 보기