골드 스탠더드와 주의력 점검
골드 스탠더드 항목과 주의력 점검으로 품질이 낮은 작업자를 잡아내고 프로젝트의 기준을 유지하는 방법을 Potato 설정과 함께 설명합니다.
골드 스탠더드와 주의력 점검은 정답을 미리 알고 있는 항목입니다. 이를 작업 흐름에 섞어 넣으면 작업자 각자의 정확도를 측정하고, 서두르거나 헷갈려 하거나 작업을 속이려는 사람을 잡아낼 수 있습니다. 이는 특히 크라우드소싱에서 어노테이션 품질 관리의 최전선이 됩니다.
골드 스탠더드
골드 스탠더드 항목은 전문가가 검증한 정답을 가진 항목입니다. 이를 곳곳에 배치하고 각 작업자의 응답을 알려진 정답과 비교하면 개인별 정확도 점수를 얻을 수 있습니다. 골드 항목은 조용히 채점에만 쓸 수도 있고(silent), 즉각적인 피드백을 주어 훈련에 쓸 수도 있습니다.
yaml
gold_standards:
enabled: true
items_file: "gold_standards.json"
mode: mixed # silent scoring + occasional feedback
frequency: 20 # roughly one gold item per 20골드 집합은 가이드라인에서 정리된 모호함 없는 사례로 구성합니다. 진정으로 모호한 항목을 골드로 쓰지 마십시오. 합리적인 선택을 한 좋은 작업자를 벌하게 됩니다.
주의력 점검
주의력 점검은 정답이 명백하고 지시문에 박혀 있는 항목입니다("이 항목에서는 '비동의'를 선택하세요"). 읽지 않는 작업자를 잡아냅니다. Potato는 사람이 읽을 수 있는 속도보다 빠르게 제출된 응답처럼 의심스러운 소요 시간에도 플래그를 달 수 있습니다.
yaml
attention_checks:
enabled: true
items_file: "attention_checks.json"
frequency: 10신호 활용하기
- 합격 정확도 기준을 정하십시오. 그 아래의 작업자는 재훈련하거나 제외할 수 있습니다.
- 훈련 단계와 결합하십시오. 실제 작업을 시작하기 전에 골드 항목에서 합격 점수를 얻도록 요구합니다.
- 점검을 과하게 하지 마십시오. 점검이 너무 많으면 좋은 작업자를 짜증 나게 하고 비용을 부풀립니다. 작고 꾸준한 비율이면 충분합니다.
작업자의 역량을 추정하고 불일치로부터 통계적으로 라벨을 추론하는 방법은 조정과 불일치 처리와 Potato의 MACE 지원을 참조하십시오.