Skip to content

Étalons de référence et contrôles d'attention

Comment utiliser des éléments étalons et des contrôles d'attention pour repérer les annotateurs de faible qualité et garder un projet calibré, avec la configuration de Potato.

Les étalons de référence et les contrôles d'attention sont des éléments dont vous connaissez déjà la bonne réponse. Les glisser dans le flux permet de mesurer la justesse de chaque annotateur et de repérer ceux qui se précipitent, sont perdus ou cherchent à tromper la tâche. Ils constituent la première ligne du contrôle qualité de l'annotation, en particulier dans le crowdsourcing.

Étalons de référence

Un élément étalon de référence a une réponse vérifiée par un expert. Disséminez-les et comparez la réponse de chaque annotateur à la réponse connue pour obtenir un score de justesse par personne. Les éléments étalons peuvent être silencieux (servant uniquement au score) ou donner un retour immédiat (servant à la formation).

yaml
gold_standards:
  enabled: true
  items_file: "gold_standards.json"
  mode: mixed       # silent scoring + occasional feedback
  frequency: 20     # roughly one gold item per 20

Constituez votre jeu d'étalons à partir des cas sans ambiguïté que vos consignes ont tranchés. N'utilisez pas comme étalons des éléments réellement ambigus, car vous pénaliseriez de bons annotateurs pour des choix raisonnables.

Contrôles d'attention

Un contrôle d'attention est un élément dont la réponse est évidente et intégrée à la consigne (« Sélectionnez "Pas d'accord" pour cet élément »). Il attrape les annotateurs qui ne lisent pas. Potato peut aussi signaler des durées suspectes, c'est-à-dire des réponses envoyées plus vite qu'un humain ne pourrait lire.

yaml
attention_checks:
  enabled: true
  items_file: "attention_checks.json"
  frequency: 10

Exploiter le signal

  • Fixez un seuil de justesse à atteindre. Les annotateurs en dessous peuvent être reformés ou exclus.
  • Combinez-le avec une phase de formation. Exigez un score suffisant sur les éléments étalons avant de commencer le travail réel.
  • N'en faites pas trop. Trop de contrôles agacent les bons annotateurs et gonflent le coût. Un taux faible et régulier suffit.

Pour estimer la compétence des annotateurs et inférer les étiquettes à partir du désaccord de façon statistique, voir Arbitrage et désaccord et la prise en charge de MACE dans Potato.

Pour aller plus loin