Konfidenzannotation

Name: Potato
Author: Potato

Konfidenzbewertungen in Potato an andere Annotationen koppeln, über Likert-Skalen oder Schieberegler, um die Sicherheit der Annotatoren zu erfassen.

Mit dem Annotationsschema Confidence bewerten Annotatoren, wie sicher sie sich bei einer anderen Annotation waren. Es koppelt eine Konfidenzskala (Likert oder Schieberegler) an ein Zielschema, sodass sich nicht nur erfassen lässt, wofür Annotatoren sich entschieden haben, sondern auch wie sicher sie dabei waren.

Konfidenzannotation in Potato, bei der ein Sentiment-Label mit einer fünfstufigen Konfidenzskala verbunden ist Confidence annotation in Potato

Überblick

Konfidenzannotationen sind zentral, wenn Annotationsqualität untersucht, mehrdeutige Elemente gefunden oder Labels bei der Aggregation gewichtet werden sollen. Ist das Schema konfiguriert, erscheint neben der Zielannotation ein Bedienelement für die Konfidenz, das die Annotatoren nach ihrer Sicherheit fragt.

Schnellstart

yaml

annotation_schemes:
  - annotation_type: radio
    name: sentiment
    description: What is the sentiment of this text?
    labels: ["Positive", "Negative", "Neutral"]
 
  - annotation_type: confidence
    name: sentiment_confidence
    description: How confident are you in your sentiment label?
    target_schema: sentiment
    scale_type: likert
    scale_points: 5

Konfigurationsoptionen

Feld	Typ	Standard	Beschreibung
`annotation_type`	string	Pflicht	Muss `"confidence"` sein
`name`	string	Pflicht	Eindeutige Kennung dieses Schemas
`description`	string	Pflicht	Anweisungen, die den Annotatoren angezeigt werden
`target_schema`	string	Optional	Name des Annotationsschemas, auf das sich die Konfidenzbewertung bezieht
`scale_type`	string	`"likert"`	Skalenart: `"likert"` für diskrete Stufen oder `"slider"` für kontinuierliche Werte
`scale_points`	integer	`5`	Zahl der Stufen auf der Likert-Skala (beim Schieberegler ohne Wirkung)
`labels`	array	Optional	Eigene Bezeichnungen für die Skalenstufen (etwa `["Not confident", "Very confident"]`)
`slider_min`	integer	—	Kleinster Wert des Schiebereglers (nur bei `scale_type` `"slider"`)
`slider_max`	integer	—	Größter Wert des Schiebereglers (nur bei `scale_type` `"slider"`)
`label_requirement.required`	boolean	`false`	Ob die Konfidenzbewertung vor dem Weitergehen ausgefüllt sein muss

Beispiele

Konfidenz als Likert-Skala

yaml

annotation_schemes:
  - annotation_type: radio
    name: toxicity
    description: Is this comment toxic?
    labels: ["Toxic", "Not Toxic"]
 
  - annotation_type: confidence
    name: toxicity_confidence
    description: How confident are you in your toxicity judgment?
    target_schema: toxicity
    scale_type: likert
    scale_points: 5
    labels: ["Not at all confident", "Slightly confident", "Moderately confident", "Very confident", "Extremely confident"]

Konfidenz als Schieberegler

yaml

annotation_schemes:
  - annotation_type: radio
    name: stance
    description: What stance does the author take?
    labels: ["Support", "Oppose", "Neutral"]
 
  - annotation_type: confidence
    name: stance_confidence
    description: Rate your confidence from 0 (guessing) to 100 (certain).
    target_schema: stance
    scale_type: slider

Pflichtangabe der Konfidenz

yaml

annotation_schemes:
  - annotation_type: multiselect
    name: topics
    description: Select all topics that apply.
    labels: ["Politics", "Economy", "Health", "Education"]
 
  - annotation_type: confidence
    name: topics_confidence
    description: How confident are you in your topic selections?
    target_schema: topics
    scale_type: likert
    scale_points: 3
    labels: ["Low", "Medium", "High"]

Konfidenz ohne Zielschema

Konfidenzannotationen lassen sich auch ohne Zielschema für eine allgemeine Selbsteinschätzung verwenden:

yaml

annotation_schemes:
  - annotation_type: confidence
    name: task_familiarity
    description: How familiar are you with this topic area?
    scale_type: likert
    scale_points: 5
    labels: ["Not familiar", "Slightly familiar", "Somewhat familiar", "Very familiar", "Expert"]

Ausgabeformat

json

{
  "toxicity_confidence": {
    "labels": {
      "confidence": 4
    }
  }
}

Bei Likert-Skalen liegen die Werte zwischen 1 und scale_points, bei Schiebereglern zwischen slider_min und slider_max.

Praxistipps

Immer an ein Zielschema koppeln – Konfidenzbewertungen sind am aussagekräftigsten, wenn sie sich auf eine konkrete Annotationsentscheidung beziehen
Likert für Einfachheit – diskrete Skalen gehen schneller und sind für Annotatoren leichter zu bedienen
Schieberegler für feine Abstufungen – wenn die Auswertung genaue Konfidenzwerte braucht
Konfidenz zur Pflicht machen – optionale Bewertungen werden oft übersprungen, was die Daten weniger brauchbar macht
Konfidenzmuster auswerten – Elemente mit niedriger Konfidenz eignen sich gut für eine Schlichtung oder zusätzliche Annotationen

Weiterführende Informationen

Likert-Skalen – ordinale Bewertungsskalen
Schieberegler – Annotation kontinuierlicher Werte
Qualitätskontrolle – Aufmerksamkeitstests und Goldstandards

Implementierungsdetails stehen in der Quelldokumentation.