Skip to content

Pré-anotação com LLM e visão computacional

Como acelerar a anotação com pré-rotulagem por LLM e verificação humana, aprendizado em contexto, destaque de opções e pré-anotação por visão, usando o suporte de IA do Potato.

A pré-anotação usa um modelo para propor rótulos que um humano depois verifica ou corrige. Conferir uma boa sugestão é bem mais rápido do que rotular do zero, então a pré-anotação pode reduzir bastante o tempo de anotação, desde que você mantenha um humano no circuito. Isso é aprendizado de máquina com humano no circuito.

O Potato tem suporte de IA integrado para OpenAI, Claude, Gemini, Ollama e outros.

Como funciona a pré-anotação

  1. Um modelo (um LLM, ou um modelo de visão para imagens) prevê um rótulo para cada item.
  2. A previsão é mostrada ao anotador como uma sugestão pré-preenchida ou uma opção destacada.
  3. O anotador confirma ou corrige.
  4. O rótulo verificado, e não a saída bruta do modelo, vira o seu dado.

Como ativar

yaml
ai_support:
  enabled: true
  endpoint_type: openai      # or anthropic, gemini, ollama, ...
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3

O Potato oferece alguns formatos:

  • Rotulagem com aprendizado em contexto: o modelo rotula os itens a partir de alguns exemplos no prompt; o humano verifica.
  • Destaque de opções: o modelo pré-seleciona os rótulos que considera mais prováveis, de modo que o anotador confirma em vez de procurar.
  • Suporte de IA visual: modelos de visão (GPT-4V, Claude, Gemini, ou um detector como o YOLO) propõem rótulos e caixas para imagens.

O risco: viés de automação

O perigo da pré-anotação é o viés de automação: os anotadores carimbam as sugestões do modelo sem pensar, importando os erros dele para os seus dados "padrão-ouro". Para se proteger:

  • Mantenha os padrões-ouro em uso para detectar a aceitação cega.
  • Não pré-preencha os itens que você usa para medir a concordância; meça em itens sem sugestão.
  • Use sugestões de baixa confiança como dicas, não como padrão, nos casos difíceis.

Pré-anotação vs. aprendizado ativo

A pré-anotação torna cada rótulo mais rápido. O aprendizado ativo torna cada rótulo mais valioso ao escolher quais itens rotular em seguida. Os dois combinam bem.

Leitura adicional