Name: Potato
Author: Potato

지금 우리가 가진 모든 품질 지표가 거꾸로 반응하는 실패 유형이 있습니다.

모델이 코퍼스에 사전 라벨을 붙입니다. 주석자 세 명이 그것을 검토합니다. 두 명은 제안을 하나씩 읽고 틀린 것을 고치고, 세 번째는 보지도 않고 전부 수용합니다.

이제 품질 지표를 계산해 보십시오.

주석자 간 일치도가 올라갑니다. 세 번째 주석자가 모델과 정확히 일치하고, 나머지 두 명이 수용한 부분도 대부분 그렇기 때문입니다.
정답 데이터 대비 정확도는 모델이 맞는 범위에서 올라갑니다. 그리고 모델은 대체로 맞습니다.
조정 건수는 줄어듭니다. 조정할 것이 적기 때문입니다.

모든 대시보드가 좋아집니다. 아무 일도 하지 않은 주석자는 일한 두 사람과 구별되지 않습니다. 게다가 일치도로 보면 가장 뛰어난 주석자로 보입니다. 자기만의 수정을 전혀 넣지 않기 때문입니다.

왜 이것이 2026년 특유의 문제인가

우연 일치를 보정한 일치도는 독립적인 판단을 전제로 설계되었습니다. 그 가정이 있어야 우연 기준선에 의미가 생깁니다.

사전 라벨링은 그 가정을 깹니다. 같은 제안을 수용한 두 주석자는 독립적으로 같은 답에 이른 것이 아니라 같은 출처를 공유했을 뿐입니다. 계수는 여전히 계산되지만, 그 해석이 말하는 의미는 더 이상 갖지 못합니다.

사전 라벨링이 이따금 모델의 도움을 받은 제안을 뜻하던 시절에는 이것이 좁은 관심사였습니다. 원클릭 자동 라벨링은 이제 업계 전반의 기본이 되었고, 신뢰도 문헌은 아직 따라오지 못했습니다.

차이가 드러나는 유일한 곳

주석 안에는 형식적 승인과 꼼꼼한 검토를 가르는 것이 없습니다. 모델이 맞았던 경우 둘은 바이트 단위로 동일한 출력을 내놓기 때문입니다. 찾아낼 내용상의 신호가 존재하지 않습니다.

다른 것은 과정입니다.

사람이 마스크 경계를 살펴보고 300밀리초 만에 판단할 수는 없습니다. 대상이 명백했다면 한 번쯤은 그럴 수 있습니다. 하지만 많은 항목에 걸친 중앙값으로서는, 그것은 숙련된 속도가 아닙니다.

그래서 Potato는 과정을 기록합니다. 도형별 소요 시간, 스트로크 동역학, 수정 횟수, 줌 동작, 그리고 판단을 가장 자주 바꿔 놓는 신호인 AI 제안 수용 지연, 즉 제안이 렌더링된 시점부터 수용될 때까지의 시간입니다.

내용을 기록하지 않고 과정을 기록하기

당연히 나올 반론은 감시가 아니냐는 것이고, 이는 정당한 지적입니다. 설계상의 답은 이벤트 기록으로 주석을 재구성할 수 없게 만드는 것입니다.

이벤트 하나가 담는 것은 타임스탬프, 동작, 도형의 종류, 그리고 정수 하나입니다. 좌표는 결코 담기지 않습니다. 이는 정책이 아니라 구조적 성질입니다. 좌표가 들어갈 필드 자체가 없고, 테스트가 그것을 검증합니다.

텍스트 쪽에 대응하는 것도 같은 원칙을 따릅니다. 키스트로크 로깅은 타이밍과 편집 구조를 기록하고 문자는 기록하지 않습니다. 포착은 keydown이 아니라 beforeinput에서 이루어집니다. 붙여넣기, 드롭, IME, 받아쓰기, 자동 완성은 모두 keydown을 발생시키지 않고 필드를 바꾸므로, keydown만 보는 로거는 정작 잡으라고 존재하는 경우를 놓치기 때문입니다. 화면에 나타난 문자와 실제로 눌린 키 사이의 간극이 단일 신호로는 가장 강합니다.

주석자에게는 기록 중이라는 안내가 표시되고, 이 고지는 기본적으로 켜져 있습니다. 여기가 연구 도구와 감시를 가르는 선입니다.

일부러 만들지 않은 것

사전 학습된 분류기는 포함하지 않습니다. 형식적 승인에 대한 라벨링된 코퍼스가 존재하지 않으며, 적합시킨 계수를 검증된 것처럼 제시한다면 그것은 지어낸 검증이 됩니다. 검출은 근거가 눈에 보이는 소수의 투명한 규칙과 프로젝트별 백분위 보정으로 이루어집니다.

AI가 쓴 주석을 검출한다고도 주장하지 않습니다. 데이터가 뒷받침하는 것은 "입력된 것이 아니라 붙여넣어진 답변을 드러낸다"까지입니다. "AI 생성 텍스트를 검출한다"는 뒷받침되지 않으며, 누군가 플래그를 근거로 조치를 취할 것이라면 이 차이는 중요합니다.

수치를 읽는 법

한 항목의 임계값이 아니라 분포로 읽으십시오. 실무에서 통하는 세 가지 원칙이 있습니다.

각 주석자를 상수가 아니라 프로젝트와 비교한다. 쉬운 코퍼스는 실제로 빠릅니다. 자기 프로젝트 안에서의 백분위 보정만이 방어 가능한 기준선입니다.
연속 구간을 찾는다. 500밀리초 미만 수용이 스무 번 연달아 나오는 것은 한 세션에 흩어져 스무 번 나오는 것보다 훨씬 강한 신호입니다.
제안이 있었는지로 나눈다. 그 주석자 본인의 그리기 속도가 수용 속도에 대한 자연스러운 대조군입니다.

그리고 기저율이 작용합니다. 항목의 80%가 정말로 사소한 코퍼스라면 빠른 것이 대개 옳고, 형식적 승인을 잡도록 조정한 규칙은 대부분 유능함을 잡아내게 됩니다. 플래그는 그 자체로 결론이 아니라 들여다보라는 신호입니다.

불편한 대목

사전 라벨링된 주석 연구를 돌리면서 소요 시간을 기록하지 않는다면, 주석자가 검토하고 있는지 그냥 수용하고 있는지 알아낼 방법이 지금으로서는 없습니다. 일치도 통계는 알려주지 않고, 그 수치는 좋아 보일 것입니다.

사전 라벨링은 실제로 도움이 되므로 이것은 그에 반대하는 주장이 아닙니다. 사전 라벨링이 무엇을 바꾸는지 측정하자는 주장입니다.

일치도로는 형식적 승인을 잡아낼 수 없다