Controllo della Qualità

Verifiche di attenzione, standard gold e metriche di accordo inter-annotatore.

Potato fornisce funzionalità complete di controllo della qualità per garantire annotazioni di alta qualità. Questo include verifiche di attenzione, standard gold, supporto alla pre-annotazione e metriche di accordo in tempo reale.

Quattro controlli qualità, un dataset affidabile

Panoramica

Il controllo della qualità in Potato consiste in quattro funzionalità chiave:

Verifiche di Attenzione - Verifica il coinvolgimento degli annotatori con elementi a risposta nota
Standard Gold - Tiene traccia dell'accuratezza rispetto agli elementi etichettati da esperti
Supporto alla Pre-Annotazione - Pre-compila i moduli con previsioni del modello
Metriche di Accordo - Calcola l'accordo inter-annotatore in tempo reale

Verifiche di Attenzione

Le verifiche di attenzione sono elementi con risposte corrette note che verificano che gli annotatori stiano prestando attenzione e non stiano cliccando casualmente.

Configurazione

yaml

attention_checks:
  enabled: true
  items_file: "attention_checks.json"
 
  # Con quale frequenza inserire le verifiche di attenzione
  frequency: 10              # Inserisci una ogni 10 elementi
  # OPPURE
  probability: 0.1           # Probabilità del 10% per elemento
 
  # Opzionale: segnala le risposte sospettosamente veloci
  min_response_time: 3.0     # Segnala se risposto in < 3 secondi
 
  # Gestione dei fallimenti
  failure_handling:
    warn_threshold: 2        # Mostra un avviso dopo 2 fallimenti
    warn_message: "Please read items carefully before answering."
    block_threshold: 5       # Blocca l'utente dopo 5 fallimenti
    block_message: "You have been blocked due to too many incorrect responses."

File degli Elementi di Verifica dell'Attenzione

json

[
  {
    "id": "attn_001",
    "text": "Please select 'Positive' for this item to verify you are reading carefully.",
    "expected_answer": {
      "sentiment": "positive"
    }
  }
]

Standard Gold

Gli standard gold sono elementi etichettati da esperti usati per misurare l'accuratezza degli annotatori. Per impostazione predefinita, gli standard gold sono silenziosi - i risultati vengono registrati per la revisione dell'amministratore, ma gli annotatori non vedono il feedback.

Configurazione

yaml

gold_standards:
  enabled: true
  items_file: "gold_standards.json"
 
  # Come usare gli standard gold
  mode: "mixed"              # Opzioni: training, mixed, separate
  frequency: 20              # Inserisci uno ogni 20 elementi
 
  # Requisiti di accuratezza
  accuracy:
    min_threshold: 0.7       # Accuratezza minima richiesta (70%)
    evaluation_count: 10     # Valuta dopo questo numero di elementi gold
 
  # Impostazioni del feedback (disabilitato per impostazione predefinita)
  feedback:
    show_correct_answer: false
    show_explanation: false
 
  # Promozione automatica da elementi ad alto accordo
  auto_promote:
    enabled: true
    min_annotators: 3
    agreement_threshold: 1.0   # 1.0 = unanime

File degli Elementi Standard Gold

json

[
  {
    "id": "gold_001",
    "text": "The service was absolutely terrible and I will never return.",
    "gold_label": {
      "sentiment": "negative"
    },
    "explanation": "Strong negative language clearly indicates negative sentiment.",
    "difficulty": "easy"
  }
]

Promozione Automatica

Gli elementi possono diventare automaticamente standard gold quando più annotatori concordano:

yaml

gold_standards:
  auto_promote:
    enabled: true
    min_annotators: 3          # Attendi almeno 3 annotatori
    agreement_threshold: 1.0   # Il 100% deve concordare (unanime)

Supporto alla Pre-Annotazione

La pre-annotazione consente di pre-compilare i moduli di annotazione con previsioni del modello, utile per i flussi di lavoro di apprendimento attivo e correzione.

Configurazione

yaml

pre_annotation:
  enabled: true
  field: "predictions"        # Campo nei dati contenente le previsioni
  allow_modification: true    # Gli annotatori possono modificare i valori pre-compilati?
  show_confidence: true
  highlight_low_confidence: 0.7

Formato dei Dati

Includi le previsioni nei tuoi elementi dati:

json

{
  "id": "item_001",
  "text": "I love this product!",
  "predictions": {
    "sentiment": "positive",
    "confidence": 0.92
  }
}

Metriche di Accordo

Le metriche di accordo inter-annotatore in tempo reale usando l'alpha di Krippendorff sono disponibili nella dashboard di amministrazione.

Configurazione

yaml

agreement_metrics:
  enabled: true
  min_overlap: 2             # Minimum annotators per item
  refresh_interval: 60       # Seconds between updates

Interpretazione dell'Alpha di Krippendorff

Valore Alpha	Interpretazione
α ≥ 0.8	Buon accordo - affidabile per la maggior parte degli scopi
0.67 ≤ α ≤ 0.8	Accordo tentativo - trai conclusioni provvisorie
0.33 ≤ α ≤ 0.67	Basso accordo - rivedi le linee guida
α ≤ 0.33	Scarso accordo - problemi significativi

Integrazione con la Dashboard di Amministrazione

Visualizza le metriche di controllo della qualità nella dashboard di amministrazione su /admin:

Verifiche di Attenzione: Tassi di passaggio/fallimento complessivi, statistiche per annotatore
Standard Gold: Accuratezza per annotatore, analisi della difficoltà per elemento
Accordo: Alpha di Krippendorff per schema con interpretazione
Elementi Promossi Automaticamente: Lista degli elementi promossi per alto accordo

Endpoint API

Metriche di Controllo della Qualità

http

GET /admin/api/quality_control

Restituisce le statistiche delle verifiche di attenzione e degli standard gold.

Metriche di Accordo

http

GET /admin/api/agreement

Restituisce l'alpha di Krippendorff per schema con interpretazione.

Esempio Completo

yaml

annotation_task_name: "Sentiment Analysis with Quality Control"
 
annotation_schemes:
  - name: sentiment
    annotation_type: radio
    labels: [positive, negative, neutral]
    description: "Select the sentiment of the text"
 
attention_checks:
  enabled: true
  items_file: "data/attention_checks.json"
  frequency: 15
  failure_handling:
 
gold_standards:
  enabled: true
  items_file: "data/gold_standards.json"
  mode: mixed
  frequency: 25
  accuracy:
 
agreement_metrics:
  enabled: true
  min_overlap: 2
  refresh_interval: 60

Risoluzione dei Problemi

Verifiche di Attenzione Non Appaiono

Verifica che il percorso items_file sia corretto (relativo alla directory del compito)
Controlla che gli elementi abbiano i campi richiesti (id, expected_answer)
Assicurati che frequency o probability sia impostato

Metriche di Accordo che Mostrano "No items with N+ annotators"

Assicurati che gli elementi siano stati annotati da più utenti
Riduci min_overlap se necessario
Controlla che le annotazioni vengano salvate correttamente

Domande frequenti

Le domande seguenti riguardano come impostare un processo di controllo della qualità e come gli standard gold tengono traccia dell'accuratezza di un annotatore nel corso di una sessione.

Come si imposta un processo di controllo qualità per l'annotazione?

Si inseriscono nella coda elementi con risposte note e si misura l'accordo sugli elementi che più annotatori hanno in comune. In Potato, le verifiche di attenzione segnalano gli annotatori che non stanno leggendo, gli standard gold misurano l'accuratezza di ogni annotatore rispetto alle etichette degli esperti e le metriche di accordo mostrano su quali domande gli annotatori sono in disaccordo. Ciascuna è un blocco a sé nella configurazione YAML del task.

Come fanno gli standard gold a rilevare il calo di accuratezza degli annotatori nel tempo?

Gli standard gold continuano a comparire con una frequenza fissa, per esempio uno ogni 20 elementi, quindi l'accuratezza rispetto alle etichette degli esperti viene misurata per tutto il tempo in cui un annotatore lavora e non una sola volta durante l'addestramento. Per impostazione predefinita Potato registra le risposte in modo silenzioso e segnala un annotatore nella dashboard di amministrazione quando la sua accuratezza, calcolata su almeno evaluation_count standard gold, scende sotto accuracy.min_threshold. Quell'accuratezza è cumulativa su tutte le risposte dell'annotatore agli standard gold, quindi un calo alla fine di una sessione lunga la sposta lentamente. I fallimenti nelle verifiche di attenzione vengono contati e non mediati, quindi una serie improvvisa di fallimenti raggiunge la soglia di avviso indipendentemente da quante verifiche l'annotatore abbia superato prima.

Ulteriori Letture

Fase di Addestramento - Qualificazione degli annotatori
Dashboard di Amministrazione - Monitoraggio delle metriche
Assegnazione Compiti - Controlla la distribuzione delle annotazioni

Per i dettagli di implementazione, consulta la documentazione sorgente.