Skip to content

Truth Serum

주석을 위한 ‘놀랍도록 인기 있는’ 채점. 라벨마다 짧은 질문을 하나 더 던지면 어려운 항목에서 Potato가 다수결을 이길 수 있고, 골드 라벨은 어디에도 필요하지 않습니다.

v2.7.0의 새 기능

다수결은 주석이 어려운 바로 그 지점에서 실패합니다. 확신에 찬 다수가 틀리고 사정을 아는 소수가 맞을 때입니다. Truth Serum은 라벨을 붙일 때마다 그 뒤에 짧은 질문 하나를 덧붙입니다.

당신은 Sarcastic을 골랐습니다. 다른 어노테이터 중 몇 퍼센트가 당신과 같은 라벨을 고를까요?

동료 예측 채점: “다른 어노테이터 중 몇 퍼센트가 같은 라벨을 고를까?”

슬라이더 하나, 클릭 한 번입니다. 이 예측들이 놀랍도록 인기 있는(surprisingly popular) 원리(Prelec 2004; Prelec, Seung & McCoy 2017, Nature)를 움직입니다. 실제 인기가 예측된 인기를 가장 크게 웃도는 라벨이 지금 얻을 수 있는 최선의 참값 추정이며, 이를 계산하는 데 골드 라벨은 필요 없습니다.

직관은 이렇습니다. 옳은 소수 의견을 가진 사람은 대개 자신이 소수라는 것을 알고 있어서, 그 답이 결국 누구의 예측보다도 더 인기 있는 것으로 드러납니다.

우리가 아는 한, 동료 예측 채점을 기본으로 제공하는 주석 도구는 Potato가 처음입니다.

무엇을 얻는가

  1. 어려운 항목에서 다수결을 이기는 항목 판정. 대시보드의 “다수가 틀렸을 법한 곳” 대기열은 놀랍도록 인기 있는 라벨이 다수결 라벨과 다른 인스턴스를 모두 나열합니다. 이것부터 검토하거나 판정으로 보내십시오.
  2. 어노테이터 보정 점수. 각 어노테이터가 예측한 일치 비율이 동료들에게서 실제로 받은 비율과 얼마나 떨어져 있는지입니다. 골드 문항 하나 없이도 과신하거나 보정이 어긋난 어노테이터가 드러납니다.
  3. SP 정렬도. 각 어노테이터의 라벨이 놀랍도록 인기 있는 판정과 얼마나 자주 일치하는지이며, 그저 무난하게 맞춰 주는 것이 아니라 실제로 알고 있음을 재는 대리 지표입니다.

구성

yaml
truth_serum:
  enabled: true
  schema: sarcasm            # scheme to collect predictions for (default: first radio)
  min_annotators: 3          # predictions per item before a verdict is computed
  # question: "What percentage of other annotators will choose the same label as you?"
옵션기본값설명
enabledfalse주 스위치입니다.
schema첫 번째 radio 스킴어느 스킴의 라벨에 인기 예측을 받을지 정합니다.
question위 참조슬라이더 위에 표시되는 질문입니다.
min_annotators3판정을 계산하기 전까지 항목당 필요한 최소 예측 수입니다(하한: 2).

방법 관련 참고 사항

논문에서 Truth Serum을 인용하기 전에 읽어 두십시오.

  • 이것은 자기 답 예측만 쓰는 단순화된 변형입니다. 각 어노테이터는 모든 라벨에 대한 분포 전체가 아니라 자신이 고른 라벨의 인기만 예측합니다. 어떤 라벨의 예측 인기는 그 라벨을 고른 사람들의 예측 평균이고, 놀라움 정도는 actual % − predicted %이며, SP 판정은 투표된 라벨 중 가장 놀라운 라벨입니다.
  • 판정은 예측이 min_annotators개 이상 모였을 때만 계산됩니다. N이 작으면 판정에 잡음이 많습니다. 3은 권장값이 아니라 하한이며, 5 이상이 낫습니다.
  • 보정 오차는 각 예측을 그 항목에서 자기 자신을 뺀 다른 어노테이터들 사이의 일치 비율과 견줍니다.
  • 어노테이터는 답을 고칠 수 있습니다. 인스턴스마다 가장 최근의 (라벨, 예측) 쌍이 이깁니다.

데이터와 API

예측은 {output_annotation_dir}/truth_serum/predictions.jsonl에 남습니다(덧붙이기 전용. 어노테이터와 인스턴스마다 가장 최근 레코드가 이깁니다).

엔드포인트메서드인증용도
/truth_serum/api/predictPOST세션라벨 + 예측 % 기록
/truth_serum/api/mineGET세션이 어노테이터의 예측(위젯 복원용)
/truth_serum/dashboardGET관리자판정 + 보정 대시보드
/truth_serum/api/statsGET관리자대시보드 집계값
/truth_serum/api/exportGET관리자전체 JSON 내보내기(판정 + 원본 예측)

추가 자료