Skip to content

생산성 기능

키보드 단축키, 마우스 오버 툴팁, AI 기반 키워드 강조, 스마트 레이블 제안으로 Potato의 주석 작업 속도를 높이고 주석자의 처리량을 향상합니다.

Potato는 키보드 단축키, 툴팁, 키워드 강조, 레이블 제안 등 주석자가 더 빠르고 정확하게 작업할 수 있도록 돕는 여러 기능을 제공합니다.

키보드 단축키

순차적 키 바인딩

옵션이 최대 10개인 주석 스키마의 경우, 기본적으로 키 바인딩을 순차적으로 할당할 수 있습니다.

yaml
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [positive, neutral, negative]
    sequential_key_binding: true

첫 번째 옵션은 "1" 키에, 두 번째 옵션은 "2" 키에 대응하며, 이런 식으로 이어집니다.

사용자 지정 키 바인딩

더 세밀하게 제어하려면 각 레이블에 사용자 지정 키 바인딩을 설정합니다.

yaml
annotation_schemes:
  - annotation_type: multiselect
    labels:
      - name: "Option 1"
        key_value: "1"
      - name: "Option 2"
        key_value: "2"
      - name: "Skip"
        key_value: "s"

관리자 키워드 강조

일치하는 텍스트 주위에 색상 강조를 표시하여 주석자가 관련 단어와 구문을 식별하도록 돕습니다.

설정

yaml
keyword_highlights_file: data/keywords.tsv

TSV 파일 형식

키워드 파일은 세 개의 열로 구성되며 탭으로 구분되어야 합니다.

text
Word	Label	Schema
love	positive	sentiment
hate	negative	sentiment
excel*	positive	sentiment
disappoint*	negative	sentiment
열설명
Word강조할 키워드 또는 구문 (* 와일드카드 지원)
Label이 키워드와 연결된 주석 레이블
Schema주석 스키마 이름

매칭 동작

  • 대소문자 구분 없음: "Love"는 "love", "LOVE", "Love"와 일치합니다
  • 단어 경계: "love"는 "love"와 일치하지만 "lovely"와는 일치하지 않습니다(와일드카드를 사용하지 않는 한)
  • 와일드카드: 접두사/접미사 매칭에 *를 사용합니다:
    • excel*는 "excellent", "excels", "excel"과 일치합니다
    • *happy는 "unhappy", "happy"와 일치합니다

색상 설정

색상은 ui.spans.span_colors 섹션에서 설정합니다.

yaml
ui:
  spans:
    span_colors:
      sentiment:
        positive: "(34, 197, 94)"    # Green
        negative: "(239, 68, 68)"    # Red
        neutral: "(156, 163, 175)"   # Gray

무작위화 설정

연구 목적의 경우, 주석자가 강조 표시에만 의존하지 않도록 키워드 강조 무작위화를 설정합니다.

yaml
keyword_highlights_file: data/keywords.tsv
 
keyword_highlight_settings:
  keyword_probability: 1.0       # Show 100% of keywords (0.0-1.0)
  random_word_probability: 0.05  # Highlight 5% random words as distractors
  random_word_label: "distractor"
  random_word_schema: "keyword"

주요 기능:

  • 지속성: 강조된 단어는 사용자 + 인스턴스별로 캐시됩니다
  • 결정적 무작위화: username + instance_id의 해시를 시드로 사용합니다
  • 행동 추적: 어떤 단어가 강조되었는지 기록합니다

툴팁

각 응답 옵션에 대한 자세한 설명을 추가합니다.

일반 텍스트 툴팁

yaml
annotation_schemes:
  - annotation_type: multiselect
    name: "Question"
    labels:
      - name: "Label 1"
        tooltip: "This option means..."

HTML 툴팁

서식이 적용된 툴팁을 사용하려면 HTML 파일을 가리킵니다.

yaml
annotation_schemes:
  - annotation_type: multiselect
    name: "Question"
    labels:
      - name: "Label 1"
        tooltip_file: "config/tooltips/label1_tooltip.html"

레이블 제안

두 가지 모드로 주석자를 돕는 제안을 표시합니다.

  • highlight: 제안된 레이블을 색상으로 강조합니다
  • prefill: 제안된 레이블을 자동으로 미리 선택합니다

설정

yaml
annotation_schemes:
  - annotation_type: multiselect
    name: "sentiment"
    description: "What sentiment does the text express?"
    labels: [positive, neutral, negative]
    label_suggestions: "highlight"  # or "prefill"
 
  - annotation_type: text
    name: "explanation"
    description: "Why do you think so?"
    multiline: true
    rows: 2
    label_suggestions: "prefill"

데이터 형식

데이터 항목에 제안을 포함합니다.

json
{
  "id": "1",
  "text": "Good Job!",
  "label_suggestions": {
    "sentiment": "positive",
    "explanation": "Because I think "
  }
}

자동 작업 할당

서로 다른 주석자에게 주석 작업을 손쉽게 할당합니다.

yaml
automatic_assignment:
  on: true
  output_filename: "task_assignment.json"
  sampling_strategy: "random"
  labels_per_instance: 10
  instance_per_annotator: 50
  test_question_per_annotator: 2

능동 학습 통합

생산성 기능은 능동 학습과 통합되어 가장 유익한 인스턴스에 우선순위를 부여합니다.

yaml
active_learning:
  enabled: true
  schema_names: ["sentiment"]
  min_annotations_per_instance: 2
  min_instances_for_training: 20
  update_frequency: 10

모범 사례

  1. 대량 작업에는 키보드 단축키를 사용하세요 — 주석 작업 속도가 크게 빨라집니다
  2. 불일치를 줄이려면 복잡하거나 모호한 레이블에 툴팁을 추가하세요
  3. 관련 텍스트로 주의를 끌려면 키워드 강조를 사용하되, 연구의 타당성을 위해 무작위화를 고려하세요
  4. 제안을 미리 채울 때는 신중하세요 — 과도하게 사용하면 주석자를 편향시킬 수 있습니다

추가 자료

구현 세부 사항은 원본 문서를 참조하십시오.