Étiquette souple

Le schéma d'annotation en étiquettes souples permet aux annotateurs d'attribuer des distributions de probabilité entre plusieurs catégories plutôt que de trancher par une classification unique. Les annotateurs se servent de curseurs pour répartir un total fixe (100 points, par exemple) entre les étiquettes, ce qui rend compte du degré d'incertitude ou du recouvrement entre catégories.

Les étiquettes souples dans Potato

Vue d'ensemble

L'étiquetage souple est utile quand un élément peut relever en partie de plusieurs catégories. Au lieu de forcer les annotateurs à choisir une seule étiquette, ce schéma leur permet d'exprimer une confiance relative sur l'ensemble des options. Les curseurs sont liés de sorte que leur somme reste toujours égale au total configuré, et un graphique de distribution facultatif donne un retour visuel.

Démarrage rapide

annotation_schemes:
  - annotation_type: soft_label
    name: sentiment_distribution
    description: Distribute 100 points across sentiment categories based on how much each applies.
    labels: ["Positive", "Neutral", "Negative"]
    total: 100

Options de configuration

Exemples

Distribution de sentiment

annotation_schemes:
  - annotation_type: soft_label
    name: sentiment_distribution
    description: How much does each sentiment apply to this text?
    labels: ["Positive", "Neutral", "Negative"]
    total: 100
    show_distribution_chart: true

Intensité des émotions

annotation_schemes:
  - annotation_type: soft_label
    name: emotion_mix
    description: Distribute points to reflect the mix of emotions in this utterance.
    labels: ["Joy", "Sadness", "Anger", "Fear", "Surprise", "Disgust"]
    total: 100
    min_per_label: 0
    show_distribution_chart: true

Pertinence thématique

annotation_schemes:
  - annotation_type: soft_label
    name: topic_relevance
    description: How relevant is this document to each topic?
    labels: ["Politics", "Sports", "Technology", "Entertainment"]
    total: 100

Allocation minimale imposée

annotation_schemes:
  - annotation_type: soft_label
    name: genre_mix
    description: Allocate points across genres. Each genre must receive at least 5 points.
    labels: ["Rock", "Pop", "Jazz", "Classical", "Electronic"]
    total: 100
    min_per_label: 5

Format de sortie

{
  "sentiment_distribution": {
    "labels": {
      "Positive": 45,
      "Neutral": 30,
      "Negative": 25
    }
  }
}

La somme des valeurs est toujours égale au total configuré.

Bonnes pratiques

1. Utilisez-les quand les catégories se recouvrent - les étiquettes souples conviennent quand un élément relève réellement de plusieurs catégories à des degrés divers
2. Gardez un nombre d'étiquettes raisonnable - au-delà de 6 ou 7 étiquettes, l'interface à curseurs devient pénible
3. Choisissez un total qui a du sens - 100 s'interprète intuitivement en pourcentages, mais des totaux plus petits font l'affaire pour des tâches simples
4. N'abusez pas de min_per_label - imposer une allocation minimale peut biaiser les résultats quand une étiquette ne s'applique vraiment pas
5. Activez le graphique de distribution - le retour visuel aide les annotateurs à voir leur répartition d'un coup d'œil

Pour aller plus loin

• Échelles de Likert - échelles d'évaluation ordinales
• Curseur - annotation par valeur continue unique
• Contrôle de la qualité - contrôles d'attention et étalons de référence

Pour les détails d'implémentation, consultez la documentation source.