데이터 어노테이션 용어집

이 용어집은 데이터 어노테이션에서 쓰는 용어 50개를 각 용어가 등장하는 프로젝트 단계별로 묶어 정의합니다. 각 항목은 한 문장에서 세 문장의 정의를 제시하고, 그 용어를 깊이 다루는 Potato 가이드로 연결합니다.

묶음은 연구 설계에서 시작해 일치도, 품질 관리, 모델 보조 레이블링, LLM 평가를 거쳐 정성 코딩과 데이터셋 문서화로 이어집니다. 표준적인 외부 정의가 있는 경우 항목은 Wikipedia나 그 용어를 처음 소개한 논문으로 연결합니다. 어노테이션 개념 FAQ는 과제에 어노테이터가 몇 명 필요한지 같은 어노테이션에 관한 흔한 질문에 답합니다. 어노테이션 학습 경로는 가이드를 목표별 읽기 순서로 배열합니다.

연구 설계

항목(item)

항목은 어노테이터가 레이블을 다는 데이터 파일의 한 단위이며, 문장이나 이미지가 그 예입니다. Potato는 설정의 item_properties 아래에 이름 붙은 필드에서 각 항목의 ID와 콘텐츠를 읽습니다. 데이터 형식은 Potato가 읽는 파일 레이아웃을 다룹니다.

어노테이션 스킴(annotation scheme)

어노테이션 스킴은 어노테이터가 각 항목에 대해 답하는 하나의 질문이나 레이블링 구성 요소이며, 단일 선택 범주나 강조 표시한 스팬 집합이 그 예입니다. Potato 설정은 annotation_schemes 아래에 스킴을 나열하고, 각 스킴은 annotation_type을 지정합니다. 어노테이션 스킴 선택하기는 연구가 필요로 하는 답의 종류를 스킴에 대응시킵니다.

레이블 세트(label set)

레이블 세트, 즉 태그셋은 어노테이터가 한 스킴에서 고르는 닫힌 범주 목록입니다. 단일 선택 스킴에서 범주는 서로 겹치지 않고 모든 항목을 덮어야 하며, 목록이 모자라면 "Other" 레이블을 둡니다. 개체명 인식은 팀이 표준 개체 레이블 세트를 도메인에 맞게 줄이는 방법을 보여 줍니다.

어노테이션 지침(annotation guidelines)

어노테이션 지침은 어떤 레이블이 어떤 항목에 적용되는지 어노테이터에게 알려 주는 서면 규칙으로, 정의와 어려운 사례의 풀이된 예시를 담습니다. 지침은 연구 도중에 바뀌며, 각 개정판에 버전 번호를 붙이면 독자가 레이블을 그 레이블이 붙은 때 유효했던 규칙까지 추적할 수 있습니다. 효과적인 주석 지침 작성하기는 문서의 구조를 제시합니다.

시범 운영(pilot)

시범 운영은 어노테이터가 서로 다르게 읽는 규칙과 항목을 찾으려고 본 연구 전에 돌리는 작은 어노테이션 라운드입니다. 팀은 시범 운영에서 나온 모든 불일치를 검토하고, 규칙이 불명확했던 곳의 지침을 고치며, 일치도가 안정될 때까지 시범 운영을 다시 합니다. 시범 운영한 뒤 수정합니다가 이 반복을 설명합니다.

중복 배정(overlap)

중복 배정은 각 항목에 독립적으로 레이블을 다는 어노테이터의 수입니다. 두 명 이상이 중복 배정되면 일치도를 측정할 수 있고, 고정된 예산에서는 항목당 어노테이터가 한 명 늘 때마다 레이블링되는 서로 다른 항목이 줄어듭니다. Potato는 num_annotators_per_item으로 중복 배정을 설정하며, 애너테이터는 몇 명이 필요한가?가 과제별 경험칙을 제시합니다.

스팬(span)

스팬은 항목 안에서 레이블이 달린 구간이며 시작 위치, 끝 위치, 레이블로 기록됩니다. 텍스트의 개체명과 모델 출력의 환각 주장은 모두 스팬으로 주석합니다. 스팬 어노테이션은 텍스트와 오디오의 스팬 과제를 다룹니다.

IOB 태깅(IOB tagging)

IOB 태깅은 BIO 태깅이라고도 하며 스팬을 토큰당 태그 하나로 인코딩합니다. B-는 스팬의 첫 토큰을, I-는 스팬 안의 뒤쪽 토큰을 표시하고, O는 모든 스팬 바깥의 토큰을 표시합니다. 이 형식은 Ramshaw와 Marcus(1995)로 거슬러 올라가며, Potato의 conll_2003 내보내기는 스팬 주석을 BIO 태그로 변환합니다.

리커트 척도(Likert scale)

리커트 척도는 어노테이터에게 레이블이 붙은 짧은 순서 점수 집합, 흔히 5점이나 7점에서 동의나 강도를 평가하게 합니다. 리커트 평가는 순서형이므로, 리커트 평가의 일치도에는 명목형 계수가 아니라 순서 알파나 가중 카파가 필요합니다. 평가 척도와 Likert 설계는 점수의 수와 레이블을 다룹니다.

쌍대 비교(pairwise comparison)

쌍대 비교는 어노테이터에게 항목 두 개를 보여 주고 명시된 기준에서 둘 중 어느 것이 더 나은지 묻습니다. 어노테이터마다 절대 척도를 다르게 쓰지만, 비교는 어느 항목이 더 나은지만 묻습니다. 쌍대 비교와 최선–최악 척도는 이 형식을 평가와 비교합니다.

최선–최악 척도법(best–worst scaling, BWS)

최선–최악 척도법은 어노테이터에게 보통 네 개인 작은 항목 집합을 보여 주고 명시된 기준에서 가장 좋은 항목과 가장 나쁜 항목을 묻습니다. 각 항목이 최선과 최악으로 뽑힌 횟수를 세면 항목당 실숫값 점수가 나오며, Kiritchenko와 Mohammad(2017)는 감성 강도에서 BWS가 평가 척도보다 신뢰할 만하다는 것을 발견했습니다. Potato의 bws 어노테이션 유형이 이 형식을 구현하고, 최선–최악 척도법 계산기가 선택을 점수로 바꿉니다.

Bradley–Terry 모델(Bradley–Terry model)

Bradley–Terry 모델은 많은 쌍대 비교에서 항목당 점수 하나를 추정합니다. 이 모델에서 한 항목이 다른 항목을 이길 확률은 두 항목의 점수에만 달려 있습니다. 모델 쌍대 비교는 이 모델로 사람의 투표에서 LLM의 순위를 매기며, Bradley–Terry 계산기는 비교 CSV에 모델을 적합합니다.

바운딩 박스(bounding box)

바운딩 박스는 어노테이터가 이미지나 영상 프레임의 객체 둘레에 그리는 직사각형으로, 좌표와 레이블로 저장됩니다. 이미지 어노테이션은 다각형, 랜드마크와 함께 박스를 다룹니다.

교집합 대 합집합 비율(intersection over union, IoU)

교집합 대 합집합 비율은 두 도형이 공유하는 넓이를 두 도형이 함께 덮는 넓이로 나눈 값이며, 겹침이 없으면 0, 도형이 같으면 1입니다. IoU는 영역에 적용한 Jaccard 지수이고, 시간 IoU는 같은 비율을 시간 구간에 적용합니다. 어노테이터 사이의 평균 IoU는 일치하지 않아도 크고 가운데 있는 객체에서는 높게 읽히며, 바운딩 박스의 주석자 간 일치도를 측정하는 방법은 그 수치를 우연에 대해 보정합니다.

일치도와 신뢰도

어노테이터 간 일치도(inter-annotator agreement, IAA)

어노테이터 간 일치도는 같은 항목에 독립적으로 레이블을 다는 어노테이터들이 같은 레이블을 주는 정도입니다. 연구는 과제가 잘 정의되어 있다는 증거로 우연 보정 계수와 함께 IAA를 보고합니다. 주석자 간 일치도 설명이 계수를 다루며, Wikipedia는 이 주제를 평가자 간 신뢰도로 다룹니다.

일치율(percent agreement)

일치율은 같은 레이블을 받은 항목의 비율, 또는 한 항목에서 같은 레이블을 준 어노테이터 쌍의 비율입니다. 일치율은 우연을 무시하며, 각자 항목의 90%에 레이블 하나를 고르는 두 어노테이터는 둘 다 무작위로 레이블을 달더라도 항목의 약 82%에서 일치합니다. Potato의 reliability 내보내기는 질문마다 Krippendorff의 알파 옆에 일치율을 보고합니다.

우연 보정 일치도(chance-corrected agreement)

우연 보정 계수는 관찰된 일치도를, 어노테이터가 관찰된 레이블 빈도로 무작위로 레이블을 달 때 기대되는 일치도와 비교합니다. 값 1은 완전한 일치를, 0은 우연 수준의 일치를, 음수 값은 우연보다 낮은 일치를 뜻합니다. Cohen의 카파, Fleiss의 카파, Krippendorff의 알파가 흔한 우연 보정 계수입니다.

Cohen의 카파(Cohen's kappa)

Cohen의 카파는 같은 항목에 대한 정확히 두 명의 어노테이터 사이의 우연 보정 일치도를 측정합니다. Cohen(1960)이 명목형 범주용으로 이 계수를 도입했고, 가중 카파는 근접한 오답에 부분 점수를 주어 카파를 순서형 범주로 확장합니다. 일치도 계산기는 레이블 CSV에서 카파를 계산합니다.

Fleiss의 카파(Fleiss' kappa)

Fleiss의 카파는 모든 항목이 어노테이터 수와 무관하게 같은 수의 레이블을 받을 때 우연 보정 일치도를 측정합니다. Fleiss(1971)가 명목형 범주용으로 이 계수를 도입했습니다. 레이블이 빠졌거나 중복 배정이 고르지 않으면 Krippendorff의 알파가 데이터에 더 잘 맞습니다.

Krippendorff의 알파(Krippendorff's alpha)

Krippendorff의 알파는 어노테이터 수에 관계없이 우연 보정 일치도를 측정하며 빠진 레이블을 허용합니다. 알파는 명목형, 순서형, 구간형, 비율형 데이터용 버전이 있습니다. 질적 연구의 코더 간 신뢰도는 관례적인 0.800과 0.667 임계값을 설명하고, 일치도 가이드의 FAQ는 음수 값을 다룹니다.

쌍별 F1(pairwise F1)

쌍별 F1은 한 어노테이터의 스팬을 기준으로, 다른 어노테이터의 스팬을 예측으로 보고 어노테이터의 모든 쌍에 대해 F1을 평균하여 스팬의 일치도를 측정합니다. 아무도 표시하지 않은 텍스트는 셀 수 있는 고정된 항목 집합을 이루지 않으므로 카파는 스팬 과제에 잘 맞지 않습니다. 스팬 및 구조화 출력의 일치도는 정확한 경계 일치와 부분 경계 일치를 다루고, 스팬 및 박스 일치도 계산기가 점수를 계산합니다.

일치도 드리프트(agreement drift)

일치도 드리프트는 연구가 진행되는 동안 어노테이터가 지침을 적용하는 방식이 서서히 바뀌는 것입니다. 본 연구 전의 일치도 점검 한 번으로는 드리프트를 탐지할 수 없습니다. /admin/iaa의 Potato 일치도 보고서는 끝난 항목의 연속된 구간마다 일치도를 채점하고, 가장 최근 구간이 프로젝트 기준선보다 calibration.drop_threshold로 정한 비율만큼 아래로 떨어지면 재보정 라운드를 안내합니다.

품질 관리

골드 스탠더드(gold standard)

골드 스탠더드 항목은 전문가가 정답을 검증한 항목입니다. 골드 항목을 어노테이션 흐름에 섞으면 어노테이터마다 누적 정확도 점수가 나오며, 일부 크라우드소싱 도구는 골드 항목을 허니팟이라고 부릅니다. Potato의 gold_standards 블록은 골드 항목이 나타나는 빈도와 최소 정확도(accuracy.min_threshold, 기본값 0.7)를 정합니다.

주의력 점검(attention check)

주의력 점검은 "이 항목에는 Disagree를 선택하세요."처럼 안내문이 정답을 밝히는 항목입니다. 밝혀진 답을 놓친 어노테이터는 읽지 않은 것이며, Oppenheimer, Meyvis, Davidenko(2009)는 설문 버전을 지시 조작 점검이라고 이름 붙였습니다. Potato의 attention_checks 블록은 frequency개 항목마다 점검을 넣고, 2번 틀리면 어노테이터에게 경고하며, 기본값으로는 5번 틀리면 그 어노테이터를 차단합니다.

훈련 단계(training phase)

훈련 단계는 본 작업 전에 어노테이터에게 정답이 알려진 연습 항목과 피드백을 주고, 합격 점수를 넘은 어노테이터만 본 작업에 들입니다. Potato의 training 블록은 연습 항목, 합격 기준, 실패 시 조치를 정합니다. 훈련 단계가 옵션을 설명합니다.

판정(adjudication)

판정에서는 전문가가 어노테이터가 서로 다르게 레이블링한 항목을 검토하고 최종 레이블을 정합니다. Potato의 adjudication 블록은 일치도가 agreement_threshold(기본값 0.75) 아래로 떨어지는 모든 항목을 adjudicator_users에 나열된 사용자용 큐에 올립니다. 판정과 불일치 해소는 판정을 집계와 비교합니다.

다수결(majority vote)

다수결은 대부분의 어노테이터가 준 레이블을 항목의 최종 레이블로 삼습니다. 다수결은 부주의한 어노테이터와 신중한 어노테이터를 똑같이 세며, 2–1 분할은 3–0 전승과 같게 셉니다. 크라우드 라벨 집계: 다수결을 넘어서는 추정된 신뢰도로 어노테이터에 가중치를 두는 모델을 다룹니다.

Dawid–Skene 모델(Dawid–Skene model)

Dawid–Skene 모델은 레이블 행렬만으로 EM 알고리즘을 써서 각 항목의 진짜 레이블과 각 어노테이터의 혼동 행렬을 함께 추정합니다. Dawid와 Skene(1979)은 관찰자 오류율을 추정하려고 이 모델을 도입했습니다. Dawid–Skene 계산기는 레이블 CSV에 모델을 적합하고, 크라우드 라벨 집계: 다수결을 넘어서는 이 모델을 다수결과 비교합니다.

MACE

MACE(Multi-Annotator Competence Estimation)는 각 어노테이터를 답을 알거나 추측하는 쪽으로 모델링하고, 각 항목의 진짜 레이블과 어노테이터마다 0에서 1 사이의 역량 점수를 함께 추정합니다. Hovy 외(2013)가 MACE를 도입했습니다. MACE 역량 추정은 Potato가 연구의 레이블에 이 모델을 돌리는 방법을 설명합니다.

소프트 레이블(soft label)

소프트 레이블은 항목에 대해 범주 하나 대신 범주에 대한 확률 분포를 기록합니다. 소프트 레이블은 한 어노테이터가 점수를 레이블에 나누어 주는 것에서, 또는 여러 어노테이터의 선택이 퍼진 정도에서 나오며, 다수결이 버리는 불일치를 보존합니다. Potato의 soft_label 어노테이션 유형이 첫 번째 종류를 수집합니다.

모델 보조 어노테이션

사전 어노테이션(pre-annotation)

사전 어노테이션은 어노테이터에게 모델이 제안한 레이블인 사전 레이블을 보여 줍니다. 어노테이터는 각 사전 레이블을 수락, 수정, 거부하며, 좋은 사전 레이블을 확인하는 데는 처음부터 레이블링하는 것보다 시간이 덜 듭니다. Potato의 pre_annotation 블록은 파일이나 데이터의 필드에서 예측을 불러옵니다.

형식적 승인(rubber-stamping)

형식적 승인은 사전 레이블을 확인하지 않고 수락하는 것으로, 자동화 편향의 한 형태입니다. 레이블만으로 계산한 어떤 측정도 형식적으로 승인된 데이터와 검토된 데이터를 구별하지 못하며, 같은 사전 레이블을 수락한 어노테이터는 구조상 일치하므로 일치도가 오릅니다. 사전 라벨링된 데이터에서 검토와 형식적 승인을 구분하는 방법은 작업 시간으로 둘을 가릅니다.

능동 학습(active learning)

능동 학습은 지금까지 모인 레이블로 학습한 모델에 각 미레이블 항목이 얼마나 유익한지에 따라 어노테이션 큐를 정렬합니다. 목표는 무작위 표집이 필요로 하는 것보다 적은 레이블로 목표 모델 정확도에 이르는 것입니다. 어노테이션을 위한 능동 학습이 이 루프를 다루며, Potato의 active_learning 블록이 연구에서 이 루프를 설정합니다.

불확실성 표집(uncertainty sampling)

불확실성 표집은 가장 단순한 능동 학습 전략으로, 모델이 예측한 레이블에 가장 자신 없는 항목을 고릅니다. 고른 항목은 결정 경계 근처에 모이고, 레이블링된 표본은 코퍼스를 대표하지 못하게 됩니다. Potato의 random_sample_percent는 큐의 일정 비율을 무작위로 유지하며(기본값 0.2), 능동 학습 레퍼런스가 다른 전략을 설명합니다.

LLM 및 에이전트 평가

LLM 심판(LLM-as-a-judge)

LLM 심판은 보통 루브릭에 따라 출력을 채점하거나 비교하도록 프롬프트된 언어 모델입니다. Zheng 외(2023)는 심판으로 쓴 GPT-4가 통제된 사람 선호와 크라우드소싱한 사람 선호 모두와 80% 넘게 일치한다는 것을 발견했습니다. LLM 심판과 사람 어노테이터의 일치도를 측정하는 방법은 심판과 사람의 일치도를 사람들끼리의 일치도와 비교합니다.

보정(calibration)

심판이나 분류기는 명시된 확신도가 정확도와 맞을 때 보정되어 있으며, 보정된 심판이 확신도 80%로 내린 판정의 약 80%가 맞습니다. 어노테이션 관리에서 보정 라운드는 어노테이터를 정답이 알려진 공유 예시로 되돌려 지침을 읽는 방식을 다시 맞춥니다. LLM 심판 가이드는 첫 번째 의미를, 일치도 드리프트는 두 번째 의미를 다룹니다.

루브릭(rubric)

루브릭은 품질 판단 하나를 이름 붙은 기준들로 나누고, 각 기준을 정의된 척도로 채점합니다. 기준마다 따로 채점하면 출력이 어느 기준에서 실패했는지 드러나며, 전체 점수 하나는 그 이유를 가립니다. 루브릭 기반 LLM 평가가 루브릭 설계를 다룹니다.

선호 데이터(preference data)

선호 데이터는 같은 프롬프트에 대한 둘 이상의 모델 응답 중 사람들이 어느 것을 선호하는지 기록합니다. 쌍대 선호 판단은 인간 피드백 기반 강화 학습(RLHF)에서 보상 모델의 통상적인 학습 데이터입니다. RLHF 및 선호 데이터 수집하기는 Potato의 pairwise 어노테이션 유형으로 수집하는 방법을 다룹니다.

에이전트 궤적(agent trajectory)

에이전트 궤적은 에이전트 실행 하나의 모든 단계를 에이전트의 추론에서 각 도구 호출과 도구 출력까지 기록합니다. 궤적을 주석한다는 것은 실행 전체를 판단하고 잘못된 단계를 오류 범주와 심각도와 함께 표시하는 것입니다. 에이전트 궤적 주석 달기는 수집할 레이블을 다룹니다.

프로세스 보상 모델(process reward model, PRM)

프로세스 보상 모델은 최종 답변만이 아니라 풀이의 각 추론 단계에 점수를 매기며, PRM을 학습시키려면 각 단계가 맞는지 말해 주는 단계 수준 레이블이 필요합니다. Lightman 외(2023)는 사람의 단계 수준 레이블 800,000개를 PRM800K로 공개했고, MATH 문제에서 과정 감독이 결과 감독보다 낫다는 것을 발견했습니다. Process Reward Model과 단계 수준 레이블링은 Potato의 process_reward 어노테이션 유형으로 수집하는 방법을 다룹니다.

환각(hallucination)

환각은 모델 출력에서 입력도 알려진 사실도 뒷받침하지 않는 진술입니다. 뒷받침되지 않는 단어를 오류 레이블이 달린 스팬으로 표시하면 답변 전체에 플래그 하나를 다는 것보다 쓸 만한 데이터가 나옵니다. 스팬 어노테이션으로 환각 탐지하기는 오류에 쓸 레이블 세트를 제시합니다.

정성 코딩

코드와 코딩(code and coding)

정성 연구에서 코딩은 인터뷰, 현장 노트, 개방형 응답의 발췌문에 코드라고 부르는 짧은 레이블을 붙이는 일입니다. 연역적 코드는 코딩이 시작되기 전에 이론이나 연구 질문에서 나오고, 귀납적 코드는 코딩 중에 데이터에서 나옵니다. 정성 코딩을 위한 인터뷰 전사문 준비하기는 녹음에서 코딩된 발췌문까지의 단계를 다룹니다.

코드북(codebook)

코드북은 모든 코드를 정의, 코드가 적용되는 경우와 적용되지 않는 경우의 규칙, 데이터에서 가져온 예시와 함께 나열합니다. Potato는 저장하는 각 주석에 그 시점에 유효한 코드북 개정판을 찍어 두며, 이 도장은 어느 버전의 코드북이 어느 발췌문을 코딩했는지 보여 줍니다. 정성 연구를 위한 코드북 개발은 항목 작성을 다루고, 정성 코딩을 위한 공유 코드북은 이 기능을 설명합니다.

내용 분석(content analysis)

내용 분석은 기사나 연설 같은 단위를 고정된 변수와 범주로 이루어진 코드북에 따라 코딩합니다. 최소 두 명의 코더가 표본을 코딩하고, 연구는 변수마다 코더 간 신뢰도를 보고합니다. Potato의 정량적 내용 분석: 코드북과 Krippendorff의 알파는 이 방법을 처음부터 끝까지 실행합니다.

주제 분석(thematic analysis)

주제 분석은 정성 데이터셋 전체에서 주제를 발전시키는 방법의 계열이며, Braun과 Clarke(2006)가 심리학을 위해 정리했습니다. 주제 분석의 성찰적 형태는 코딩을 해석으로 보며 일치도 계수를 두지 않습니다. 방법이 계수에 반대할 때가 두 입장을 모두 설명합니다.

코더 간 신뢰도(intercoder reliability, ICR)

코더 간 신뢰도는 정성 연구와 내용 분석에서 같은 발췌문에 하나의 코드북을 적용하는 코더들 사이의 일치도를 가리키는 용어입니다. 연구는 보통 데이터의 10~25%를 이중 코딩한 표본에서 Krippendorff의 알파나 Cohen의 카파를 보고합니다. 질적 연구의 코더 간 신뢰도는 계수를 코딩 설계에 맞춥니다.

메모(memo)

분석 메모는 연구자가 코딩하는 동안 데이터와 코드에 대해 쓰는 노트이며, 어떤 코드가 한 구절에 왜 맞는지 같은 내용입니다. Potato는 메모를 항목, 텍스트 선택, 이미지의 도형에 붙이고 프로젝트 데이터베이스에 보관합니다. 정성 코딩을 위한 분석 메모는 답글, 이슈, 메모 내보내기를 설명합니다.

데이터셋 문서화

데이터시트(datasheet)

데이터셋의 데이터시트는 동기, 구성, 수집 과정, 권장 용도 등 데이터셋에 관한 표준 질문 집합에 답합니다. Gebru 외(2021)는 모든 전자 부품에 딸린 데이터시트에 빗대어 데이터시트를 제안했습니다. 데이터셋과 모델 문서화: 데이터시트, 데이터 스테이트먼트, 모델 카드는 데이터시트를 나머지 두 표준과 비교합니다.

데이터 스테이트먼트(data statement)

데이터 스테이트먼트는 언어 데이터셋의 큐레이션 근거, 언어 변종, 화자와 어노테이터의 인구통계, 지침을 기술합니다. Bender와 Friedman(2018)은 자연어 처리를 위해 데이터 스테이트먼트를 제안했습니다. 데이터 스테이트먼트가 있으면 독자는 데이터셋이 어떤 집단을 대표하는지 판단할 수 있습니다.

모델 카드(model card)

모델 카드는 학습된 모델의 의도된 용도, 한계, 인구통계와 그 밖의 집단별로 나눈 성능을 보고합니다. Mitchell 외(2019)가 모델 카드를 제안했습니다. 데이터시트나 데이터 스테이트먼트의 어노테이터 인구통계는 모델 카드의 집단별 결과를 해석할 수 있게 해 줍니다.

Potato 설정에서 용어가 나타나는 곳

위 용어 중 상당수는 Potato의 설정 키 하나나 어노테이션 유형 하나에 대응합니다. 표는 직접 대응하는 설정이 있는 용어의 대응을 나열합니다.

작동하는 설정에 이 블록을 추가하면 항목당 레이블 세 개를 모으고, 골드 항목으로 어노테이터를 채점하며, 일치도가 낮은 항목을 판정자에게 보낼 수 있습니다.

num_annotators_per_item: 3
 
gold_standards:
  enabled: true
  items_file: "gold_standards.json"
  frequency: 20          # about one gold item per 20 items
  accuracy:
    min_threshold: 0.8   # stricter than the 0.7 default
 
adjudication:
  enabled: true
  adjudicator_users: ["lead_annotator"]
  agreement_threshold: 0.75   # items below the threshold go to the adjudicator

골드 파일의 각 레코드에는 id와 gold_label이 필요하며, 품질 관리가 전체 형식을 설명합니다.

더 읽을거리

• 어노테이션 학습 경로, 가이드를 목표별 읽기 순서로 배열한 경로
• 어노테이션 개념 FAQ, 어노테이션에 관한 흔한 질문의 답
• 데이터 어노테이션이란?, 주요 과제 유형
• 어노테이션 스키마, Potato가 지원하는 모든 어노테이션 유형

참고문헌

1. Bender, E. M., & Friedman, B. (2018). Data statements for natural language processing: Toward mitigating system bias and enabling better science. Transactions of the Association for Computational Linguistics, 6. https://aclanthology.org/Q18-1041/
2. Bradley, R. A., & Terry, M. E. (1952). Rank analysis of incomplete block designs: I. The method of paired comparisons. Biometrika, 39(3/4), 324. https://doi.org/10.2307/2334029
3. Braun, V., & Clarke, V. (2006). Using thematic analysis in psychology. Qualitative Research in Psychology, 3(2), 77-101. https://doi.org/10.1191/1478088706qp063oa
4. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104
5. Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Applied Statistics, 28(1), 20. https://doi.org/10.2307/2346806
6. Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. https://doi.org/10.1037/h0031619
7. Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daumé III, H., & Crawford, K. (2021). Datasheets for datasets. Communications of the ACM, 64(12), 86-92. https://doi.org/10.1145/3458723
8. Hovy, D., Berg-Kirkpatrick, T., Vaswani, A., & Hovy, E. (2013). Learning whom to trust with MACE. Proceedings of NAACL-HLT 2013. https://aclanthology.org/N13-1132/
9. Kiritchenko, S., & Mohammad, S. (2017). Best-worst scaling more reliable than rating scales: A case study on sentiment intensity annotation. Proceedings of ACL 2017 (Volume 2: Short Papers). https://aclanthology.org/P17-2074/
10. Lightman, H., Kosaraju, V., Burda, Y., Edwards, H., et al. (2023). Let's verify step by step. arXiv:2305.20050. https://arxiv.org/abs/2305.20050
11. Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., Spitzer, E., Raji, I. D., & Gebru, T. (2019). Model cards for model reporting. Proceedings of the Conference on Fairness, Accountability, and Transparency, 220-229. https://doi.org/10.1145/3287560.3287596
12. Oppenheimer, D. M., Meyvis, T., & Davidenko, N. (2009). Instructional manipulation checks: Detecting satisficing to increase statistical power. Journal of Experimental Social Psychology, 45(4), 867-872. https://doi.org/10.1016/j.jesp.2009.03.009
13. Ramshaw, L., & Marcus, M. (1995). Text chunking using transformation-based learning. Third Workshop on Very Large Corpora. https://aclanthology.org/W95-0107/
14. Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., et al. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks Track. https://arxiv.org/abs/2306.05685