Skip to content

Pre-annotazione con LLM e modelli di visione

Come velocizzare l'annotazione con etichette proposte da un LLM e verificate da una persona: in-context learning, evidenziazione delle opzioni e pre-annotazione visiva con il supporto AI di Potato.

Nella pre-annotazione è un modello a proporre le etichette, che poi una persona verifica o corregge. Controllare un buon suggerimento è molto più rapido che etichettare da zero, quindi la pre-annotazione può ridurre parecchio i tempi, a patto di tenere una persona nel ciclo. È human-in-the-loop applicato al machine learning.

Potato ha un supporto AI integrato per OpenAI, Claude, Gemini, Ollama e altri.

Come funziona la pre-annotazione

  1. Un modello (un LLM, o un modello di visione per le immagini) predice un'etichetta per ogni elemento.
  2. La predizione arriva all'annotatore come suggerimento già compilato o come opzione evidenziata.
  3. L'annotatore conferma o corregge.
  4. I tuoi dati sono l'etichetta verificata, non l'output grezzo del modello.

Come attivarla

yaml
ai_support:
  enabled: true
  endpoint_type: openai      # or anthropic, gemini, ollama, ...
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3

Potato ne offre alcune varianti:

Il rischio: il bias di automazione

Il pericolo della pre-annotazione è il bias di automazione: gli annotatori approvano a scatola chiusa i suggerimenti del modello e ne importano gli errori nei dati «gold». Come difendersi:

  • Tieni attivi i gold standard per accorgerti di chi accetta tutto senza guardare.
  • Non pre-compilare gli elementi che usi per misurare l'accordo; misuralo su elementi senza suggerimento.
  • Sui casi difficili, usa i suggerimenti a bassa confidenza come indizi, non come valori predefiniti.

Pre-annotazione o active learning?

La pre-annotazione rende più rapida ogni etichetta. L'active learning rende ogni etichetta più utile, scegliendo quali elementi etichettare per primi. Insieme funzionano bene.

Approfondimenti