골드 라벨 없는 품질 관리

주석 품질을 확인하는 표준적인 방법은 답을 이미 아는 항목을 심어 두고 누가 틀리는지 보는 것입니다. 효과는 있지만 만드는 비용이 크고, 심어 둘 생각을 한 사례만 검사하며, 숙련된 어노테이터는 결국 심어 둔 항목을 알아봅니다. 골드 항목을 하나도 쓰지 않고 품질 신호를 얻는 기법이 두 가지 있습니다. 다른 사람들이 무엇을 말할지 예측하게 하는 동료 예측 채점과, 작은 편집을 거쳐도 라벨이 살아남는지 묻는 반사실 프로브입니다. Potato는 Truth Serum과 결정 경계 실험실로 둘 다 제공합니다.

골드 스탠더드와 주의력 점검은 “어노테이터가 제대로 집중하고 있는지 어떻게 아는가”에 대한 기본 답이고, 그 자리를 차지할 만합니다. 하지만 여기에는 실질적인 비용이 셋 있습니다.

우선 직접 만들어야 하는데, 이미 다 아는 항목에 전문가의 시간을 들여 라벨을 붙인다는 뜻입니다. 그리고 미리 예상한 실패 양상만 다룹니다. 마지막으로, 오래 가는 작업이라면 어노테이터가 언젠가는 그것을 알아봅니다. 재사용되는 골드 항목은 더 이상 아무것도 재지 못하는 골드 항목입니다.

아래 두 기법은 셋을 모두 비껴가며, 어느 쪽도 LLM이 필요 없습니다.

동료 예측: 다른 사람들이 뭐라고 할지 물어보기

어노테이터가 라벨을 고르고 나면 Truth Serum이 한 가지를 더 묻습니다.

당신은 Sarcastic을 골랐습니다. 다른 어노테이터 중 몇 퍼센트가 당신과 같은 라벨을 고를까요?

슬라이더 하나, 클릭 한 번입니다. 그 숫자 하나가 놀라울 만큼 많은 일을 해냅니다.

Truth Serum의 예측 카드

예측이 정보를 담는 이유

이 방법은 놀랍도록 인기 있는(surprisingly popular) 원리입니다(Prelec, Seung & McCoy 2017, Nature; Prelec의 Bayesian truth serum(2004)을 발전시킨 것입니다). 참값의 가장 좋은 추정은 가장 인기 있는 답이 아니라 사람들이 예측한 것보다 더 인기 있는 답이라는 주장입니다.

논리는 이렇습니다. 옳은 소수 의견을 가진 사람은 대개 자신이 소수라는 것을 압니다. 왜 대다수가 다르게 답할지 이해하고 있고, 예측해 보라고 하면 그렇게 말합니다. 반대로 흔한 오해를 품은 사람은 모두가 자기 생각에 동의한다고 여기는 경향이 있습니다. 그래서 어떤 답이 자기 자신의 예측된 인기를 웃돌면, 그 격차는 그 답을 고른 사람들이 다수가 모르는 무언가를 알고 있다는 증거가 됩니다.

다수결은 확신에 찬 다수가 틀리고 사정을 아는 소수가 맞는 바로 그 지점에서 가장 크게 실패합니다. 놀랍도록 인기 있는 채점은 그런 경우를 겨냥해 만들어졌습니다.

truth_serum:
  enabled: true
  schema: sarcasm
  min_annotators: 5

우리가 아는 한, 동료 예측 채점을 기본으로 제공하는 주석 도구는 Potato가 처음입니다.

여기서 얻는 것

세 가지이고, 어느 것도 정답표를 필요로 하지 않았습니다.

“다수가 틀렸을 법한 곳” 대기열. 놀랍도록 인기 있는 라벨이 다수결 라벨과 다른 모든 항목입니다. 전문가가 들여다볼 값어치가 있는 항목이고, 대개 걱정했던 것보다 훨씬 적습니다.

어노테이터별 보정 점수. 각 사람이 예측한 일치 비율이 실제로 받은 비율과 얼마나 떨어져 있는지입니다. 다른 사람의 90%가 자기에게 동의할 거라고 꾸준히 예측하면서 꾸준히 55%를 받는 사람은 자기 인식에 대해 무언가를 말해 주고 있습니다. 아무것도 심지 않고 알아낸 사실입니다.

SP 정렬도. 각 어노테이터의 라벨이 놀랍도록 인기 있는 판정과 얼마나 자주 일치하는지이며, 그저 무난하게 맞춰 주는 것이 아니라 실제로 사정을 알고 있음을 재는 대략적인 대리 지표입니다.

인용하기 전에 유의할 점 하나. 이것은 각 어노테이터가 모든 라벨에 대한 전체 분포가 아니라 자기가 고른 라벨의 인기만 예측하는, 단순화된 자기 답 예측 변형입니다. 그리고 min_annotators: 3은 하한이지 권장값이 아닙니다. 판정이 잡음에서 벗어나는 지점은 다섯 명 이상입니다.

반사실 프로브: 편집을 거쳐도 라벨이 살아남는지 묻기

Truth Serum은 다수가 틀린 항목을 찾아냅니다. 결정 경계 실험실은 다른 것을 찾습니다. 코드북이 모호한 지점, 그리고 실제로는 읽고 있지 않은 어노테이터입니다.

라벨이 확정되는 순간, Potato는 텍스트의 최소 편집을 보여주며 그 라벨이 그대로 유효한지 묻습니다.

당신은 Polite라고 했습니다. 이 편집을 거쳐도 그대로일까요?

결정 경계 실험실의 프로브

답하는 데는 클릭 한 번이면 됩니다. 하지만 물어봤기 때문에, 평범한 주석 작업이 이제 단순한 라벨 내보내기로는 얻을 수 없는 세 가지를 만들어 냅니다.

덤으로 얻는 대조 집합

답변된 프로브 하나하나가 라벨이 붙은 (원본, 반사실) 쌍입니다. 이것이 대조 집합이며, 모델의 강건성을 높인다고 보고된 반사실 증강 데이터가 바로 이것입니다(Gardner et al. 2020, Evaluating Models' Local Decision Boundaries via Contrast Sets; Kaushik et al. 2020).

대조 집합을 만드는 일은 보통 비용이 큰 별도 작업입니다. 여기서는 어차피 하고 있던 라벨링에서 저절로 떨어져 나옵니다.

boundary_probing:
  enabled: true
  schema: politeness
  probes_per_item: 3
  include_invariance: true
  sources: [precomputed, llm, rules]

sources 목록은 대체 연쇄입니다. 직접 고른 반사실을 데이터와 함께 넣어도 되고, LLM으로 생성해도 되고, 규칙 기반 계층이 부정 전환·강조어 교체·공손 표지 같은 어휘 변환으로 만들어 내게 해도 됩니다. 마지막 계층 덕분에 결정 경계 실험실은 LLM을 전혀 구성하지 않고도 동작하며, 아무도 API 키를 넣지 않았을 때 기능이 무너지는 대신 품위 있게 물러납니다.

드러나지 않는 품질 관리

일부 프로브는 불변성 프로브로, 의미를 유지하는 패러프레이즈입니다. “회의 전에 슬라이드를 보내 주세요”(Send me the slides before the meeting)가 “회의 전에, 슬라이드를 보내 주세요”(Before the meeting, send me the slides)가 됩니다.

일관된 어노테이터는 여기서 라벨을 뒤집지 않습니다. 뒤집는 어노테이터는 주의 깊게 읽지 않고 있거나, 그 라벨이 무엇을 뜻하는지에 대한 안정된 생각이 없는 것입니다. 어느 쪽이든 알아야 할 일이고, 가짜 항목을 하나도 심지 않고 알아냈습니다. 이 프로브는 평범한 작업과 구별되지 않는데, 실제로 평범한 작업이기 때문입니다.

대시보드는 불변성 프로브의 유지 비율이 60% 아래인 어노테이터를 표시합니다.

경계 근거

라벨이 실제로 뒤집히면 어노테이터가 무엇이 선을 넘게 했는지 밝힙니다. “please가 명령을 부드럽게 한다” 같은 것입니다. 이런 근거가 쌓이면 지침이 어디에서 덜 규정되어 있는지 정확히 짚어 주는 지도가 되고, 그것이 더 나은 지침의 입력이 됩니다.

대시보드는 라벨별 경계 민감도도 보고합니다. 각 라벨을 겨눈 최소 편집 가운데 실제로 그 라벨을 뒤집은 비율입니다. 뒤집힘 비율이 90%인 라벨은 칼날 위에 서 있는 셈이고 정의를 더 분명히 해야 할 가능성이 큽니다. 10%인 라벨은 견고합니다.

어느 쪽을 써야 할까요?

둘은 서로 다른 질문에 답하며, 함께 쓸 수 있습니다.

걱정하는 바가 *“어려운 사례에서는 합의 라벨이 틀렸을 수도 있다”*라면 Truth Serum부터 시작하십시오. *“코드북이 충분히 정밀하지 않은 것 같고, 모두가 제대로 읽고 있는지도 모르겠다”*라면 결정 경계 실험실부터 시작하십시오.

어느 쪽도 심리측정을 대신하지는 않습니다. 심리측정은 각 라벨을 얼마나 믿어야 하는지, 어떤 어노테이터에 가중치를 둬야 하는지 알려 줍니다. 셋을 함께 쓰면 품질을 표본 점검이 아니라 계속해서 재는 연구가 되고, 그 측정 가운데 어느 것도 먼저 만들어 둬야 하는 정답표에 기대지 않습니다.

더 읽을거리

• Truth Serum과 결정 경계 실험실 — 전체 설정
• 오차 막대가 붙은 라벨 — IRT 사후확률과 코드북 문제 탐지기
• 골드 스탠더드와 주의력 점검 — 고전적인 접근이며, 여전히 이쪽이 맞을 때
• 품질 관리
• 효과적인 주석 지침 작성하기