어노테이션 스킴 선택하기
연구 질문을 적합한 Potato 어노테이션 타입(radio, multiselect, span, likert, slider, pairwise, best-worst, multirate, rubric 등)에 대응시키는 방법.
어노테이션 스킴은 어노테이터에게 던지는 질문의 형태입니다. 어떤 종류의 답이 필요한지를 생각해 선택하십시오. 하나의 범주인지, 여러 범주인지, 항목 안의 영역인지, 척도상의 위치인지, 아니면 항목 간의 비교인지입니다. Potato는 30가지가 넘는 어노테이션 타입을 지원하며, 이 가이드는 그 선택지를 좁히는 방법을 안내합니다.
선택지 전체 목록과 설정은 어노테이션 스킴 레퍼런스를 참고하십시오.
결정 가이드
| 필요한 것 | 사용할 타입 | 예시 |
|---|---|---|
| 정확히 하나의 범주 | radio | 감성: 긍정 / 부정 / 중립 |
| 여러 범주를 동시에 | multiselect | 기사에 포함된 주제 |
| 긴 목록에서 하나의 범주 | select (드롭다운) | 국가, 언어, ICD 코드 |
| 텍스트/오디오 안의 영역 | span | 개체명, 오류 구간 |
| 척도상의 위치 | likert | 동의도, 유창성, 품질 |
| 연속적인 값 | slider | 확신도 0–100 |
| 두 항목 중 더 나은 것 | pairwise | 어느 모델의 답변이 더 나은가? |
| 집합에서 최선과 최악 | best_worst_scaling | 유창성으로 번역 순위 매기기 |
| 여러 항목에 동일한 척도 | multirate | 검색된 각 문서를 평가 |
| 가중치가 적용된 여러 기준 | rubric_eval | MT-Bench 방식의 LLM 채점 |
| 서술형 답변 | text | 근거, 수정 |
실전 예시: 단일 라벨과 다중 라벨
범주가 서로 배타적이라면 radio를 사용해 어노테이터가 하나만 고르도록 합니다.
yaml
annotation_schemes:
- annotation_type: radio
name: stance
description: "What stance does the post take?"
labels: [Supports, Opposes, Neutral]
sequential_key_binding: true하나의 항목이 여러 라벨을 동시에 가질 수 있다면 multiselect를 사용하고 상한과 하한을 설정합니다.
yaml
annotation_schemes:
- annotation_type: multiselect
name: topics
description: "Select every topic the article covers."
labels: [Politics, Technology, Health, Sports, Business]
min_selections: 1
max_selections: 3sequential_key_binding: true를 지정하면 어노테이터가 클릭 대신 숫자 키를 누를 수 있어 대규모 작업의 속도가 빨라집니다.
스킴을 조합해 더 풍부한 작업 구성하기
한 화면에 여러 스킴을 쌓을 수 있습니다. 예를 들어 범주와 자유 서술형 사유를 함께 두는 식입니다. 조건 로직과 함께 사용하면 사유 입력란을 필요할 때만 표시할 수 있습니다.
yaml
annotation_schemes:
- annotation_type: radio
name: quality
description: "Is this answer acceptable?"
labels: [Good, Bad]
- annotation_type: text
name: reason
description: "If Bad, briefly explain why."
label_requirement:
required: false