Skip to content

LLM 与视觉预标注

如何借助 Potato 的 AI 支持，通过 LLM 预标注与人工核验、上下文学习、选项高亮以及视觉预标注来加速标注。

预标注是让模型先提出标签，再由人工核验或修正。核对一条好的建议远比从零开始标注更快，因此只要保持人工参与，预标注就能大幅缩短标注时间。 这正是人在回路的机器学习。

Potato 内置了对 OpenAI、Claude、Gemini、Ollama 等模型的 AI 支持。

预标注如何运作

  1. 一个模型（LLM，或处理图像的视觉模型）为每个条目预测标签。
  2. 预测结果以预填建议或高亮选项的形式呈现给标注者。
  3. 标注者确认或修正它。
  4. 进入你数据的是经过核验的标签，而非模型的原始输出。

启用它

yaml
ai_support:
  enabled: true
  endpoint_type: openai      # or anthropic, gemini, ollama, ...
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3

Potato 提供了几种方式：

  • 上下文学习标注：模型根据提示中的少量示例为条目标注，再由人工核验。
  • 选项高亮：模型预先选出它认为最可能的标签，让标注者去确认而非逐一查找。
  • 视觉 AI 支持：视觉模型（GPT-4V、Claude、Gemini，或 YOLO 之类的检测器）为图像提出标签和检测框。

风险：自动化偏见

预标注的危险在于自动化偏见：标注者机械地认可模型的建议，把模型的错误带进你的"黄金"数据。请加以防范：

  • 持续运行黄金标准，以便发现盲目接受的情况。
  • 在你用来测量一致性的条目上不要预填；要在没有建议的条目上测量。
  • 对疑难案例，把置信度较低的建议当作提示，而非默认值。

预标注与主动学习的区别

预标注让每个标签更快产生。主动学习则通过决定接下来标注哪些条目，让每个标签更有价值。二者可以很好地结合。

延伸阅读