Annotation de confiance

Name: Potato
Author: Potato

Ajoutez dans Potato des évaluations de confiance associées à d'autres annotations, avec des échelles de Likert ou des curseurs, pour recueillir la certitude de l'annotateur.

Le schéma d'annotation de confiance permet aux annotateurs d'indiquer à quel point ils sont sûrs d'une autre annotation qu'ils viennent de faire. Il associe une échelle de confiance (Likert ou curseur) à un schéma d'annotation cible, ce qui permet de mesurer non seulement ce que les annotateurs ont choisi, mais aussi leur degré de certitude.

Annotation de confiance de Potato, associant une étiquette de sentiment à une échelle de confiance en 5 points L'annotation de confiance dans Potato

Vue d'ensemble

Les annotations de confiance servent à étudier la qualité de l'annotation, à repérer les éléments ambigus et à pondérer les étiquettes lors de l'agrégation. Une fois configuré, un composant de notation de la confiance s'affiche à côté de l'annotation cible et invite l'annotateur à dire à quel point il est sûr de sa décision.

Démarrage rapide

yaml

annotation_schemes:
  - annotation_type: radio
    name: sentiment
    description: What is the sentiment of this text?
    labels: ["Positive", "Negative", "Neutral"]
 
  - annotation_type: confidence
    name: sentiment_confidence
    description: How confident are you in your sentiment label?
    target_schema: sentiment
    scale_type: likert
    scale_points: 5

Options de configuration

Champ	Type	Défaut	Description
`annotation_type`	string	Obligatoire	Doit valoir `"confidence"`
`name`	string	Obligatoire	Identifiant unique de ce schéma
`description`	string	Obligatoire	Consignes affichées aux annotateurs
`target_schema`	string	Facultatif	Nom du schéma d'annotation auquel s'applique cette évaluation de confiance
`scale_type`	string	`"likert"`	Type d'échelle : `"likert"` pour des points discrets ou `"slider"` pour une échelle continue
`scale_points`	integer	`5`	Nombre de points de l'échelle de Likert (ignoré avec un curseur)
`labels`	array	Facultatif	Libellés personnalisés des points de l'échelle (par exemple `["Not confident", "Very confident"]`)
`slider_min`	integer	—	Valeur minimale du curseur (utilisée seulement si `scale_type` vaut `"slider"`)
`slider_max`	integer	—	Valeur maximale du curseur (utilisée seulement si `scale_type` vaut `"slider"`)
`label_requirement.required`	boolean	`false`	Si l'évaluation de confiance doit être complétée avant de passer à la suite

Exemples

Échelle de confiance de Likert

yaml

annotation_schemes:
  - annotation_type: radio
    name: toxicity
    description: Is this comment toxic?
    labels: ["Toxic", "Not Toxic"]
 
  - annotation_type: confidence
    name: toxicity_confidence
    description: How confident are you in your toxicity judgment?
    target_schema: toxicity
    scale_type: likert
    scale_points: 5
    labels: ["Not at all confident", "Slightly confident", "Moderately confident", "Very confident", "Extremely confident"]

Échelle de confiance avec curseur

yaml

annotation_schemes:
  - annotation_type: radio
    name: stance
    description: What stance does the author take?
    labels: ["Support", "Oppose", "Neutral"]
 
  - annotation_type: confidence
    name: stance_confidence
    description: Rate your confidence from 0 (guessing) to 100 (certain).
    target_schema: stance
    scale_type: slider

Évaluation de confiance obligatoire

yaml

annotation_schemes:
  - annotation_type: multiselect
    name: topics
    description: Select all topics that apply.
    labels: ["Politics", "Economy", "Health", "Education"]
 
  - annotation_type: confidence
    name: topics_confidence
    description: How confident are you in your topic selections?
    target_schema: topics
    scale_type: likert
    scale_points: 3
    labels: ["Low", "Medium", "High"]

Confiance autonome (sans cible)

Les annotations de confiance peuvent aussi s'utiliser sans schéma cible, pour une auto-évaluation générale :

yaml

annotation_schemes:
  - annotation_type: confidence
    name: task_familiarity
    description: How familiar are you with this topic area?
    scale_type: likert
    scale_points: 5
    labels: ["Not familiar", "Slightly familiar", "Somewhat familiar", "Very familiar", "Expert"]

Format de sortie

json

{
  "toxicity_confidence": {
    "labels": {
      "confidence": 4
    }
  }
}

Sur une échelle de Likert, les valeurs vont de 1 à scale_points. Avec un curseur, elles vont de slider_min à slider_max.

Bonnes pratiques

Associez toujours un schéma cible : une évaluation de confiance sert surtout quand elle est rattachée à une décision d'annotation précise
Utilisez Likert pour la simplicité : les échelles discrètes sont plus rapides et plus faciles à manier
Utilisez les curseurs pour une mesure fine : quand il vous faut des valeurs de confiance précises pour l'analyse en aval
Rendez la confiance obligatoire : les évaluations facultatives sont souvent sautées, ce qui appauvrit les données
Analysez les profils de confiance : les éléments à faible confiance sont de bons candidats à l'arbitrage ou à des annotations supplémentaires

Pour aller plus loin

Échelles de Likert : échelles de notation ordinales
Curseur : annotation par valeur continue
Contrôle de la qualité : tests d'attention et étalons de référence

Pour les détails d'implémentation, consultez la documentation source.