Skip to content

De combien d'annotateurs avez-vous besoin ?

Comment décider du nombre d'annotateurs et du recouvrement d'un projet d'annotation, en équilibrant accord, coût et confiance statistique, avec les réglages de recouvrement de Potato.

Il n'existe pas de nombre idéal unique, mais la décision repose sur trois leviers : combien de personnes étiquettent chaque élément (le recouvrement), la clarté de la tâche et votre budget. Les tâches claires demandent peu de recouvrement ; les tâches subjectives en demandent davantage. Ce guide donne des règles empiriques et les réglages pour les appliquer.

Recouvrement et couverture

Tout budget d'annotation se répartit entre deux objectifs :

  • Couverture : étiqueter davantage d'éléments distincts (chacun une fois).
  • Recouvrement : étiqueter plusieurs fois les mêmes éléments, ce qui vous procure des estimations d'accord et la possibilité d'agréger.

Vous ne pouvez pas maximiser les deux. Un schéma courant : recouvrir entièrement un sous-ensemble pour mesurer l'accord, puis annoter le reste une seule fois une fois que vous faites confiance à la tâche.

Règles empiriques

  • Tâches objectives (catégories claires, accord élevé) : 1 annotateur pour la plupart des éléments, avec un recouvrement de 2–3× sur un échantillon de 5–10 % pour surveiller la qualité.
  • Tâches modérément subjectives : 3 annotateurs par élément, départagés par vote majoritaire ou par MACE.
  • Tâches très subjectives (offense, émotion, préférence) : plus de 5 annotateurs par élément, et envisagez de conserver la distribution complète des étiquettes plutôt que de la réduire.

Davantage d'annotateurs réduit la variance de l'étiquette agrégée d'un élément, avec des rendements décroissants : passer de 1 à 3 aide bien plus que passer de 7 à 9.

Régler le recouvrement dans Potato

L'attribution des tâches de Potato contrôle combien d'annotateurs voient chaque élément et comment les éléments sont répartis.

yaml
automatic_assignment:
  on: true
  instance_per_annotator: 50     # how many items each person labels
  labels_per_instance: 3         # how many annotators label each item (overlap)

N'oubliez pas les contrôles qualité

Le nombre d'annotateurs ne sert à rien si certains ne sont pas fiables. Associez le recouvrement à des étalons de référence et contrôles d'attention afin de pouvoir pondérer ou exclure le travail de faible qualité avant d'agréger.

Pour aller plus loin