Annotazione di confidenza

Name: Potato
Author: Potato

Affianca in Potato una valutazione di confidenza alle altre annotazioni, con scale Likert o cursori, per registrare quanto l'annotatore è sicuro della sua scelta.

Lo schema di annotazione di confidenza permette agli annotatori di indicare quanta fiducia ripongono in un'altra annotazione che hanno appena fatto. Abbina una scala di confidenza (Likert o cursore) a uno schema di annotazione bersaglio, così i ricercatori misurano non solo che cosa ha scelto l'annotatore ma anche quanto era sicuro della scelta.

Annotazione di confidenza in Potato che affianca a un'etichetta di sentiment una scala di confidenza a 5 punti Confidence annotation in Potato

Panoramica

Le annotazioni di confidenza servono per studiare la qualità delle annotazioni, individuare gli elementi ambigui e pesare le etichette in fase di aggregazione. Una volta configurate, accanto all'annotazione bersaglio compare un controllo di confidenza che chiede all'annotatore quanto è sicuro della propria decisione.

Avvio rapido

yaml

annotation_schemes:
  - annotation_type: radio
    name: sentiment
    description: What is the sentiment of this text?
    labels: ["Positive", "Negative", "Neutral"]
 
  - annotation_type: confidence
    name: sentiment_confidence
    description: How confident are you in your sentiment label?
    target_schema: sentiment
    scale_type: likert
    scale_points: 5

Opzioni di configurazione

Campo	Tipo	Predefinito	Descrizione
`annotation_type`	string	Obbligatorio	Deve essere `"confidence"`
`name`	string	Obbligatorio	Identificatore univoco per questo schema
`description`	string	Obbligatorio	Istruzioni visualizzate agli annotatori
`target_schema`	string	Opzionale	Nome dello schema di annotazione a cui si riferisce questa valutazione di confidenza
`scale_type`	string	`"likert"`	Tipo di scala: `"likert"` per punti discreti o `"slider"` per una scala continua
`scale_points`	integer	`5`	Numero di punti della scala Likert (ignorato con il cursore)
`labels`	array	Opzionale	Etichette personalizzate per i punti della scala (per esempio `["Not confident", "Very confident"]`)
`slider_min`	integer	—	Valore minimo del cursore (usato solo quando `scale_type` è `"slider"`)
`slider_max`	integer	—	Valore massimo del cursore (usato solo quando `scale_type` è `"slider"`)
`label_requirement.required`	boolean	`false`	Se la valutazione di confidenza va completata prima di proseguire

Esempi

Scala di confidenza Likert

yaml

annotation_schemes:
  - annotation_type: radio
    name: toxicity
    description: Is this comment toxic?
    labels: ["Toxic", "Not Toxic"]
 
  - annotation_type: confidence
    name: toxicity_confidence
    description: How confident are you in your toxicity judgment?
    target_schema: toxicity
    scale_type: likert
    scale_points: 5
    labels: ["Not at all confident", "Slightly confident", "Moderately confident", "Very confident", "Extremely confident"]

Scala di confidenza a cursore

yaml

annotation_schemes:
  - annotation_type: radio
    name: stance
    description: What stance does the author take?
    labels: ["Support", "Oppose", "Neutral"]
 
  - annotation_type: confidence
    name: stance_confidence
    description: Rate your confidence from 0 (guessing) to 100 (certain).
    target_schema: stance
    scale_type: slider

Valutazione di confidenza obbligatoria

yaml

annotation_schemes:
  - annotation_type: multiselect
    name: topics
    description: Select all topics that apply.
    labels: ["Politics", "Economy", "Health", "Education"]
 
  - annotation_type: confidence
    name: topics_confidence
    description: How confident are you in your topic selections?
    target_schema: topics
    scale_type: likert
    scale_points: 3
    labels: ["Low", "Medium", "High"]

Confidenza autonoma (senza bersaglio)

Le annotazioni di confidenza si possono usare anche senza uno schema bersaglio, come autovalutazione generale:

yaml

annotation_schemes:
  - annotation_type: confidence
    name: task_familiarity
    description: How familiar are you with this topic area?
    scale_type: likert
    scale_points: 5
    labels: ["Not familiar", "Slightly familiar", "Somewhat familiar", "Very familiar", "Expert"]

Formato di output

json

{
  "toxicity_confidence": {
    "labels": {
      "confidence": 4
    }
  }
}

Con le scale Likert i valori vanno da 1 a scale_points. Con i cursori vanno da slider_min a slider_max.

Buone pratiche

Abbina sempre uno schema bersaglio - le valutazioni di confidenza rendono di più quando sono legate a una decisione di annotazione precisa
Usa la scala Likert per semplicità - le scale discrete sono più rapide e più comode da usare
Usa i cursori per una misura fine - quando ti servono valori di confidenza precisi per le analisi successive
Rendi obbligatoria la confidenza - le valutazioni facoltative vengono spesso saltate, e i dati ne risentono
Analizza gli andamenti della confidenza - gli elementi con confidenza bassa sono buoni candidati per l'adjudication o per annotazioni aggiuntive

Ulteriori letture

Scale Likert - scale di valutazione ordinali
Cursore - annotazione con valori continui
Controllo della Qualità - attention check e gold standard

Per i dettagli implementativi, vedi la documentazione sorgente.