Skip to content

LLM 및 비전 사전 어노테이션

Potato의 AI 지원을 활용해 LLM 사전 라벨링과 사람의 검증, 인컨텍스트 학습, 선택지 강조, 비전 사전 어노테이션으로 어노테이션을 가속하는 방법.

사전 어노테이션은 모델이 라벨을 제안하고 사람이 이를 검증하거나 수정하는 방식입니다. 좋은 제안을 확인하는 것이 처음부터 라벨링하는 것보다 훨씬 빠르기 때문에, 사람을 계속 개입시키는 한 사전 어노테이션은 어노테이션 시간을 크게 줄일 수 있습니다. 이것이 휴먼 인 더 루프 기계 학습입니다.

Potato에는 OpenAI, Claude, Gemini, Ollama 등에 대한 AI 지원이 기본 내장되어 있습니다.

사전 어노테이션의 작동 방식

  1. 모델(LLM, 또는 이미지의 경우 비전 모델)이 각 항목의 라벨을 예측합니다.
  2. 예측 결과는 미리 채워진 제안이나 강조된 선택지로 어노테이터에게 표시됩니다.
  3. 어노테이터가 이를 확인하거나 수정합니다.
  4. 모델의 원시 출력이 아니라 검증된 라벨이 여러분의 데이터가 됩니다.

활성화하기

yaml
ai_support:
  enabled: true
  endpoint_type: openai      # or anthropic, gemini, ollama, ...
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3

Potato는 몇 가지 방식을 제공합니다:

  • 인컨텍스트 학습 라벨링: 모델이 프롬프트에 담긴 소수의 예시로부터 항목에 라벨을 붙이고, 사람이 검증합니다.
  • 선택지 강조: 모델이 가장 가능성이 높다고 판단하는 라벨을 미리 선택해 두므로, 어노테이터는 찾는 대신 확인합니다.
  • 비주얼 AI 지원: 비전 모델(GPT-4V, Claude, Gemini, 또는 YOLO 같은 탐지기)이 이미지 라벨과 박스를 제안합니다.

위험: 자동화 편향

사전 어노테이션의 위험은 자동화 편향입니다. 어노테이터가 모델의 제안을 기계적으로 승인하면서 그 오류를 여러분의 "골드" 데이터에 들여오게 됩니다. 다음과 같이 대비하세요:

  • 골드 스탠다드를 계속 돌려 맹목적인 수용을 탐지할 수 있도록 합니다.
  • 일치도를 측정하는 항목에는 사전 입력을 하지 말고, 제안이 없는 항목에서 측정합니다.
  • 어려운 사례에서는 신뢰도가 낮은 제안을 기본값이 아니라 힌트로 사용합니다.

사전 어노테이션 vs. 능동 학습

사전 어노테이션은 각 라벨을 더 빠르게 만듭니다. 능동 학습은 다음에 어떤 항목을 라벨링할지 선택함으로써 각 라벨을 더 가치 있게 만듭니다. 둘은 잘 결합됩니다.

더 읽을거리