Skip to content

옵션 하이라이트

Potato의 AI 기반 옵션 하이라이트는 LLM을 사용하여 정답일 가능성이 높은 레이블을 미리 선택하므로, 이산 어노테이션 작업에서 인지 부하를 줄이고 처리 속도를 높입니다.

옵션 하이라이트는 이산 어노테이션 작업에서 어노테이터가 정답일 가능성이 가장 높은 옵션을 식별하도록 돕는 AI 지원 기능입니다. 시스템은 LLM을 사용하여 콘텐츠와 작업 설명을 분석하고 가능성이 가장 높은 top-k 옵션을 예측하며, 이를 완전한 불투명도로 표시하고 가능성이 낮은 옵션은 흐리게 표시합니다.

개요

활성화되면 옵션 하이라이트는 다음을 수행합니다:

  1. LLM을 사용하여 인스턴스 콘텐츠를 분석합니다
  2. 작업 맥락을 기반으로 가장 가능성이 높은 옵션을 식별합니다
  3. 가능성이 높은 옵션을 별 표시로 강조합니다
  4. 가능성이 낮은 옵션을 흐리게 표시합니다(불투명도 설정 가능)
  5. 모든 옵션을 완전히 클릭 가능한 상태로 유지합니다 - 이는 안내일 뿐 제한이 아닙니다

이 기능은 옵션이 많은 작업, 신규 어노테이터 교육, 인지 부하 감소, 그리고 어노테이션 확신을 높이기 위한 "제2의 의견" 제공에 특히 유용합니다.

구성

구성 파일의 ai_support 아래에 option_highlighting 섹션을 추가합니다:

yaml
ai_support:
  enabled: true
  endpoint_type: "openai"
  ai_config:
    model: "gpt-4o-mini"
    api_key: "${OPENAI_API_KEY}"
    temperature: 0.3
 
  option_highlighting:
    enabled: true
    top_k: 3                    # Number of options to highlight (1-10)
    dim_opacity: 0.4            # Opacity for non-highlighted options (0.1-0.9)
    auto_apply: true            # Apply on page load vs manual trigger
    schemas: null               # null = all schemas, or ["schema1", "schema2"]
    prefetch_count: 20          # Items to prefetch
 
  cache_config:
    disk_cache:
      enabled: true
      path: annotation_output/ai_cache.json
    prefetch:
      warm_up_page_count: 10
      on_next: 3
      on_prev: 1

구성 참조

옵션유형기본값설명
enabledbooleanfalse옵션 하이라이트 활성화
top_kinteger3강조할 옵션 수(1-10)
dim_opacityfloat0.4흐리게 표시되는 옵션의 불투명도(0.1-0.9)
auto_applybooleantrue페이지 로드 시 자동 적용
schemaslist/nullnull특정 스키마로 제한하거나 모든 스키마는 null
prefetch_countinteger20미리 가져올 항목 수

지원되는 어노테이션 유형

옵션 하이라이트는 이산 선택 유형과 함께 작동합니다:

  • radio - 단일 선택
  • multiselect - 다중 체크박스 선택
  • likert - 리커트 척도 평가
  • select - 드롭다운 선택

다음에는 적용되지 않습니다: span, textbox, slider, image_annotation, video_annotation.

시각적 표시

  • 강조된 옵션: 완전한 불투명도와 금색 별 표시, 은은한 배경 강조
  • 흐려진 옵션: 감소된 불투명도(설정 가능), 마우스를 올리면 0.7로 밝아지며 여전히 완전히 클릭 가능
  • 폼 표시: 하이라이트가 활성화된 어노테이션 폼의 금색 왼쪽 테두리와 작은 "AI" 배지

미리 가져오기

LLM 쿼리는 느릴 수 있으므로, 옵션 하이라이트는 적극적인 미리 가져오기를 사용합니다:

  1. 워밍업: 서버 시작 시 처음 N개 항목을 미리 가져옵니다
  2. 탐색 시: 사용자가 앞뒤로 이동할 때 다음 항목을 미리 가져옵니다
  3. 백그라운드 처리: 미리 가져오기는 비동기로 수행됩니다
  4. 캐싱: 결과는 재사용을 위해 디스크에 캐시됩니다

모범 사례

  1. 빠른 모델을 사용하세요 - gpt-4o-mini는 속도와 정확도의 좋은 균형을 제공합니다
  2. 적절한 top_k를 설정하세요 - 이진 선택에는 1, 4-5개 옵션에는 2-3을 사용합니다
  3. 미리 가져오기를 활성화하세요 - 더 높은 prefetch_count(20 이상)는 매끄러운 탐색을 보장합니다
  4. 어노테이터를 교육하세요 - 강조 표시가 요구 사항이 아니라 제안임을 설명합니다

추가 자료

구현 세부 사항은 원본 문서를 참조하세요.