Evidenziazione delle Opzioni
Evidenziazione assistita da AI delle opzioni probabilmente corrette per i compiti di annotazione discreta.
Evidenziazione delle Opzioni
L'Evidenziazione delle Opzioni è una funzionalità assistita da AI che aiuta gli annotatori a identificare le opzioni più probabilmente corrette per i compiti di annotazione discreta. Usando un LLM, il sistema analizza il contenuto e la descrizione del compito per prevedere le opzioni top-k più probabili, visualizzandole a piena opacità mentre attenua le opzioni meno probabili.
Panoramica
Quando abilitata, l'Evidenziazione delle Opzioni:
- Analizza il contenuto dell'istanza usando un LLM
- Identifica le opzioni più probabili in base al contesto del compito
- Evidenzia le opzioni probabili con un indicatore a stella
- Attenua le opzioni meno probabili (opacità configurabile)
- Mantiene tutte le opzioni completamente cliccabili - questa è una guida, non una restrizione
Questo è particolarmente utile per i compiti con molte opzioni, per addestrare nuovi annotatori, ridurre il carico cognitivo e fornire una "seconda opinione" per aumentare la confidenza nelle annotazioni.
Configurazione
Aggiungi la sezione option_highlighting sotto ai_support nella tua configurazione:
ai_support:
enabled: true
endpoint_type: "openai"
ai_config:
model: "gpt-4o-mini"
api_key: "${OPENAI_API_KEY}"
temperature: 0.3
option_highlighting:
enabled: true
top_k: 3 # Numero di opzioni da evidenziare (1-10)
dim_opacity: 0.4 # Opacità per le opzioni non evidenziate (0.1-0.9)
auto_apply: true # Applica al caricamento della pagina vs trigger manuale
schemas: null # null = tutti gli schemi, o ["schema1", "schema2"]
prefetch_count: 20 # Elementi da precare
cache_config:
disk_cache:
enabled: true
path: annotation_output/ai_cache.json
prefetch:
warm_up_page_count: 10
on_next: 3
on_prev: 1Riferimento alla Configurazione
| Opzione | Tipo | Predefinito | Descrizione |
|---|---|---|---|
enabled | booleano | false | Abilita l'evidenziazione delle opzioni |
top_k | intero | 3 | Numero di opzioni da evidenziare (1-10) |
dim_opacity | float | 0.4 | Opacità per le opzioni attenuate (0.1-0.9) |
auto_apply | booleano | true | Applica automaticamente al caricamento della pagina |
schemas | lista/null | null | Limita a schemi specifici, o null per tutti |
prefetch_count | intero | 20 | Numero di elementi da precare in anticipo |
Tipi di Annotazione Supportati
L'evidenziazione delle opzioni funziona con i tipi a scelta discreta:
- radio - Selezione di scelta singola
- multiselect - Selezione di caselle di controllo multiple
- likert - Valutazioni su scala Likert
- select - Selezione a elenco a discesa
Non si applica a: span, textbox, slider, image_annotation o video_annotation.
Aspetto Visivo
- Opzioni evidenziate: Piena opacità con un indicatore a stella dorata e una leggera evidenziazione dello sfondo
- Opzioni attenuate: Opacità ridotta (configurabile), si illuminano a 0.7 al passaggio del mouse, ancora completamente cliccabili
- Indicatore del modulo: Bordo sinistro dorato sui moduli di annotazione con evidenziazione attiva, piccolo badge "AI"
Precaricamento
Poiché le query LLM possono essere lente, l'evidenziazione delle opzioni usa un precaricamento aggressivo:
- Riscaldamento: I primi N elementi vengono precaricati all'avvio del server
- Alla navigazione: Gli elementi successivi vengono precaricati quando l'utente si sposta avanti/indietro
- Elaborazione in background: Il precaricamento avviene in modo asincrono
- Caching: I risultati vengono memorizzati su disco per il riutilizzo
Best Practice
- Usa un modello veloce -
gpt-4o-minioffre un buon equilibrio tra velocità e accuratezza - Imposta un top_k appropriato - per scelte binarie usa 1, per 4-5 opzioni usa 2-3
- Abilita il precaricamento - un
prefetch_countpiù alto (20+) garantisce una navigazione fluida - Forma gli annotatori - spiega che le evidenziazioni sono suggerimenti, non requisiti
Ulteriori Letture
- Supporto AI - Configurazione generale dell'assistente AI
- Ordinamento per Diversità - Funzionalità AI complementare per l'ordinamento degli elementi
Per i dettagli di implementazione, consulta la documentazione sorgente.