Skip to content

LLM 與視覺預標註

如何藉助 Potato 的 AI 支援，通過 LLM 預標註與人工核驗、上下文學習、選項高亮以及視覺預標註來加速標註。

預標註是讓模型先提出標籤，再由人工核驗或修正。核對一條好的建議遠比從零開始標註更快，因此只要保持人工參與，預標註就能大幅縮短標註時間。 這正是人在迴路的機器學習。

Potato 內建了對 OpenAI、Claude、Gemini、Ollama 等模型的 AI 支援。

預標註如何運作

  1. 一個模型（LLM，或處理影像的視覺模型）為每個條目預測標籤。
  2. 預測結果以預填建議或高亮選項的形式呈現給標註者。
  3. 標註者確認或修正它。
  4. 進入你資料的是經過核驗的標籤，而非模型的原始輸出。

啟用它

yaml
ai_support:
  enabled: true
  endpoint_type: openai      # or anthropic, gemini, ollama, ...
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3

Potato 提供了幾種方式：

  • 上下文學習標註：模型根據提示中的少量示例為條目標註，再由人工核驗。
  • 選項高亮：模型預先選出它認為最可能的標籤，讓標註者去確認而非逐一查詢。
  • 視覺 AI 支援：視覺模型（GPT-4V、Claude、Gemini，或 YOLO 之類的檢測器）為影像提出標籤和檢測框。

風險：自動化偏見

預標註的危險在於自動化偏見：標註者機械地認可模型的建議，把模型的錯誤帶進你的"黃金"資料。請加以防範：

  • 持續執行黃金標準，以便發現盲目接受的情況。
  • 在你用來測量一致性的條目上不要預填；要在沒有建議的條目上測量。
  • 對疑難案例，把置信度較低的建議當作提示，而非預設值。

預標註與主動學習的區別

預標註讓每個標籤更快產生。主動學習則通過決定接下來標註哪些條目，讓每個標籤更有價值。二者可以很好地結合。

延伸閱讀