실제로 몇 명의 어노테이터가 필요할까요?

"어노테이터가 몇 명 필요한가요?"는 어떤 프로젝트에서든 가장 먼저 나오는 질문 중 하나이며, 솔직한 답은 세 가지에 달려 있다는 것입니다. 작업이 얼마나 명확한지, 예산을 얼마나 쓸 수 있는지, 그리고 불일치를 어떻게 처리할 계획인지입니다. 마법의 숫자는 없지만, 좋은 기본값은 있습니다.

커버리지와 중복도

모든 어노테이션 예산은 서로 경쟁하는 두 가지 목표 사이에서 나뉩니다. 커버리지는 더 많은 서로 다른 항목을 각각 한 번씩 라벨링하는 것을 뜻합니다. 중복도는 동일한 항목을 여러 번 라벨링하여 일치도를 측정하고 결과를 집계할 수 있도록 하는 것을 뜻합니다. 두 가지를 동시에 극대화할 수는 없습니다.

잘 작동하는 한 가지 방식은 다음과 같습니다. 작은 하위 집합을 완전히 중복 라벨링하여 일치도를 측정하고 작업이 잘 정의되었는지 확인한 다음, 신뢰가 생기면 나머지는 한 명의 어노테이터로 라벨링하는 것입니다. 모든 항목을 세 번씩 라벨링하는 비용을 들이지 않고도 품질 신호를 얻을 수 있습니다.

경험 법칙

범주가 명확하고 일치도가 높은 작업의 경우, 대부분의 항목은 한 명의 어노테이터가 처리하고, 품질을 모니터링하기 위해 5~10퍼센트의 표본에 대해 두세 명의 어노테이터가 중복 작업을 합니다.

적당히 주관적인 작업의 경우, 항목당 세 명의 어노테이터를 사용하고 다수결 또는 역량 가중 모델로 결정합니다.

모욕, 감정, 선호도를 판단하는 것처럼 진정으로 주관적인 작업의 경우, 항목당 다섯 명 이상의 어노테이터를 사용하고, 라벨을 하나의 답으로 줄이는 대신 전체 라벨 분포를 유지하는 것을 고려하십시오. 불일치는 종종 잡음이 아니라 실제 신호입니다.

어노테이터가 많아지면 항목의 집계 라벨 분산이 줄어들지만, 수확 체감이 있습니다. 한 명에서 세 명으로 늘리는 것이 일곱 명에서 아홉 명으로 늘리는 것보다 훨씬 더 큰 도움이 됩니다.

Potato에서 중복도 설정하기

Potato의 자동 할당은 각 항목을 몇 명의 어노테이터가 보는지, 그리고 항목이 사람들에게 어떻게 분배되는지를 제어합니다.

automatic_assignment:
  on: true
  instance_per_annotator: 50     # items each person labels
  labels_per_instance: 3         # annotators per item (overlap)

인원 수는 품질 관리를 대체하지 못합니다

일부 어노테이터가 신뢰할 수 없다면 어노테이터를 추가해도 도움이 되지 않습니다. 집계하기 전에 저품질 작업에 가중치를 두거나 제외할 수 있도록 중복도를 골드 스탠다드 항목 및 주의력 점검과 함께 사용하십시오. 전체 논리는 실제로 몇 명의 어노테이터가 필요할까요? 가이드와 어노테이터 간 일치도를 참고하십시오. 구현 세부 사항은 원본 문서와 품질 관리 문서를 참고하십시오.