« De combien d'annotateurs ai-je besoin ? » est l'une des premières questions de tout projet, et la réponse honnête est qu'elle dépend de trois choses : la clarté de la tâche, votre budget et ce que vous comptez faire des désaccords. Il n'y a pas de nombre magique, mais il existe de bons points de départ.

Couverture contre recoupement

Tout budget d'annotation se partage entre deux objectifs concurrents. La couverture consiste à étiqueter davantage d'éléments distincts, chacun une seule fois. Le recoupement consiste à étiqueter les mêmes éléments plusieurs fois afin de pouvoir mesurer l'accord et agréger. Vous ne pouvez pas maximiser les deux à la fois.

Une approche qui fonctionne bien : recouper entièrement un petit sous-ensemble pour mesurer l'accord et confirmer que la tâche est bien définie, puis annoter le reste une seule fois une fois que vous lui faites confiance. Vous obtenez un signal de qualité sans payer pour étiqueter trois fois la totalité.

Règles empiriques

Pour les tâches aux catégories claires et au fort accord, un seul annotateur traite la plupart des éléments, avec deux ou trois annotateurs qui se recoupent sur un échantillon de 5 à 10 pour cent afin de surveiller la qualité.

Pour les tâches modérément subjectives, utilisez trois annotateurs par élément et tranchez par vote majoritaire ou par un modèle pondéré selon la compétence.

Pour un travail réellement subjectif, comme juger le caractère offensant, l'émotion ou la préférence, utilisez cinq annotateurs ou plus par élément, et envisagez de conserver l'ensemble de la distribution des étiquettes au lieu de la réduire à une seule réponse. Le désaccord est souvent un véritable signal, pas du bruit.

Davantage d'annotateurs réduit la variance de l'étiquette agrégée d'un élément, mais avec des rendements décroissants. Passer d'un annotateur à trois aide bien plus que passer de sept à neuf.

Définir le recoupement dans Potato

L'attribution automatique de Potato contrôle combien d'annotateurs voient chaque élément et comment les éléments sont répartis entre les personnes.

yaml

automatic_assignment:
  on: true
  instance_per_annotator: 50     # items each person labels
  labels_per_instance: 3         # annotators per item (overlap)

L'effectif ne remplace pas le contrôle qualité

Ajouter des annotateurs n'aide pas si certains d'entre eux ne sont pas fiables. Associez le recoupement à des éléments de référence (gold standard) et à des contrôles d'attention afin de pouvoir pondérer ou écarter le travail de faible qualité avant d'agréger. Pour le raisonnement complet, consultez le guide De combien d'annotateurs avez-vous besoin ? et Accord inter-annotateurs. Pour les détails de mise en œuvre, consultez la documentation source et la documentation sur le contrôle qualité.