Skip to content

LLM とビジョンによる事前アノテーション

Potato の AI サポートを使い、LLM による事前ラベル付けと人手による検証、文脈内学習、選択肢のハイライト、ビジョンによる事前アノテーションでアノテーションを高速化する方法。

事前アノテーションは、モデルがラベルを提案し、それを人が検証または修正する手法です。良い提案を確認するほうがゼロからラベル付けするよりもはるかに速いため、人を介在させ続けるかぎり、事前アノテーションはアノテーション時間を大幅に短縮できます。 これはヒューマン・イン・ザ・ループ型の機械学習です。

Potato には OpenAI、Claude、Gemini、Ollama などに対する AI サポートが組み込まれています。

事前アノテーションの仕組み

  1. モデル（LLM、または画像なら視覚モデル）が各項目のラベルを予測します。
  2. 予測結果は、事前入力された提案やハイライトされた選択肢としてアノテーターに表示されます。
  3. アノテーターがそれを確認または修正します。
  4. データになるのは、モデルの生の出力ではなく検証済みのラベルです。

有効化する

yaml
ai_support:
  enabled: true
  endpoint_type: openai      # or anthropic, gemini, ollama, ...
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3

Potato にはいくつかの方式があります。

  • 文脈内学習によるラベル付け：モデルがプロンプト内のわずかな例から項目にラベルを付け、人が検証します。
  • 選択肢のハイライト：モデルが最も可能性が高いと考えるラベルを事前に選んでおくので、アノテーターは探すのではなく確認します。
  • 視覚 AI サポート：視覚モデル（GPT-4V、Claude、Gemini、または YOLO のような検出器）が画像のラベルや矩形を提案します。

リスク：自動化バイアス

事前アノテーションの危険は自動化バイアスです。アノテーターがモデルの提案を機械的に追認し、その誤りを「ゴールド」データに持ち込んでしまいます。次のように防ぎましょう。

  • ゴールドスタンダードを回し続け、盲目的な受け入れを検知できるようにします。
  • 一致度を測定する項目では事前入力をせず、提案のない項目で測定します。
  • 難しいケースでは、信頼度の低い提案をデフォルトではなくヒントとして使います。

事前アノテーションとアクティブラーニングの違い

事前アノテーションは各ラベルを速くします。アクティブラーニングは次にどの項目をラベル付けするかを選ぶことで、各ラベルをより価値あるものにします。両者は相性よく組み合わせられます。

さらに読む