Um bom gancho de LLM pode tornar a anotação mais rápida e mais consistente ao mesmo tempo. Este guia cobre a configuração de OpenAI, Claude, Gemini e modelos locais para que seus anotadores recebam sugestões úteis enquanto mantêm a decisão final.

O que a integração de LLM oferece

Um modelo pode pré-preencher rótulos para o anotador revisar, realçar os termos que importam no texto, sinalizar anotações que parecem erradas e explicar os casos difíceis para que um anotador travado tenha algo com que trabalhar.

Para saber como a camada de suporte de IA é construída, veja a documentação de origem.

Integração básica com OpenAI

yaml

annotation_task_name: "AI-Assisted Sentiment Analysis"
 
# AI configuration
ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3
    max_tokens: 500
 
  features:
    hints:
      enabled: true
    keyword_highlighting:
      enabled: true
    label_suggestions:
      enabled: true
 
# ... rest of config
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]

Provedores suportados

OpenAI

yaml

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4  # or gpt-4o, gpt-3.5-turbo
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3
    max_tokens: 500

Anthropic Claude

yaml

ai_support:
  enabled: true
  endpoint_type: anthropic
 
  ai_config:
    model: claude-3-sonnet-20240229
    api_key: ${ANTHROPIC_API_KEY}
    temperature: 0.3
    max_tokens: 500

Google Gemini

yaml

ai_support:
  enabled: true
  endpoint_type: google
 
  ai_config:
    model: gemini-1.5-pro
    api_key: ${GOOGLE_API_KEY}

Modelos Locais (Ollama)

yaml

ai_support:
  enabled: true
  endpoint_type: ollama
 
  ai_config:
    model: llama2  # or mistral, mixtral, etc.
    base_url: http://localhost:11434

Recurso: sugestões de rótulo

O modelo pode propor um rótulo para o anotador avaliar:

yaml

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
 
  features:
    label_suggestions:
      enabled: true
      show_confidence: true
 
annotation_schemes:
  - annotation_type: radio
    name: category
    labels: [News, Opinion, Satire, Other]

Recurso: realce de palavras-chave

Com o realce de palavras-chave ativado, o LLM marca por conta própria os termos relevantes no texto da anotação:

Realce de palavras-chave por IA no Potato

Para realçar termos importantes automaticamente:

yaml

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
 
  features:
    keyword_highlighting:
      enabled: true

Recurso: dicas

Dê aos anotadores um empurrão sem entregar a resposta:

yaml

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
 
  features:
    hints:
      enabled: true

As dicas aparecem como orientação em vez de veredito, então um caso difícil fica mais fácil de pensar, mas a escolha ainda pertence ao anotador.

Configuração completa assistida por IA

yaml

annotation_task_name: "AI-Assisted NER Annotation"
 
# AI Configuration
ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.2
    max_tokens: 500
 
  features:
    hints:
      enabled: true
    keyword_highlighting:
      enabled: true
    label_suggestions:
      enabled: true
      show_confidence: true
 
  cache_config:
    disk_cache:
      enabled: true
      path: "ai_cache/cache.json"
    prefetch:
      warm_up_page_count: 50
      on_next: 5
      on_prev: 2
 
data_files:
  - data/texts.json
 
item_properties:
  id_key: id
  text_key: content
 
annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Label named entities (AI suggestions provided)"
    labels:
      - name: PERSON
        color: "#FF6B6B"
      - name: ORG
        color: "#4ECDC4"
      - name: LOC
        color: "#45B7D1"
      - name: DATE
        color: "#96CEB4"
 
output_annotation_dir: "annotation_output/"
export_annotation_format: "json"

Trabalhando com sugestões de IA

Com o suporte de IA ativado, as sugestões ficam ao lado da interface de anotação, e o anotador pode aceitar, alterar ou ignorá-las. A anotação salva é sempre a decisão do anotador, então um humano permanece no circuito.

Quando o cache está ativado, as respostas são armazenadas, então a mesma instância nunca custa uma segunda chamada de API.

Prompts personalizados

O Potato inclui prompts padrão para cada tipo de anotação, armazenados em potato/ai/prompt/. Você pode personalizá-los editando os arquivos de prompt:

Tipo de Anotação	Arquivo de Prompt
Botões de rádio	`radio_prompt.txt`
Escalas Likert	`likert_prompt.txt`
Caixas de seleção	`checkbox_prompt.txt`
Anotação de span	`span_prompt.txt`
Entrada de texto	`text_prompt.txt`

Os prompts suportam substituição de variáveis com {text}, {labels} e {description}.

Dicas para anotação assistida por IA

Comece com cautela e revise cada sugestão até confiar no modelo para a sua tarefa. Acompanhe a taxa de aceitação, porque uma taxa baixa geralmente significa que o prompt precisa de trabalho, não os anotadores. Ajuste os prompts contra os erros que você realmente vê. Mantenha o humano no comando: a IA assiste, a pessoa decide. E acompanhe os rótulos da IA contra os humanos ao longo do tempo para saber quão preciso o modelo realmente é.

Novidade na v2.2: realce de opções

O Potato 2.2 adiciona o realce de opções, que lê o conteúdo e marca as opções mais prováveis para tarefas discretas (rádio, multiseleção, likert). As opções do top-k recebem uma estrela, as menos prováveis ficam esmaecidas, e tudo permanece clicável.

yaml

ai_support:
  option_highlighting:
    enabled: true
    top_k: 3
    dim_opacity: 0.4

Leia a documentação completa de Realce de Opções →

Próximos passos

Ative o aprendizado ativo para priorizar itens incertos
Configure o controle de qualidade com métricas de IA
Aprenda sobre modelos locais para privacidade
Explore o realce de opções para anotação guiada

Documentação completa de IA em /docs/features/ai-support.