Arbitrage et résolution du désaccord
Que faire quand les annotateurs ne sont pas d'accord : flux d'arbitrage, agrégation par vote majoritaire et modèles statistiques comme MACE qui pondèrent les annotateurs selon leur compétence.
Le désaccord est normal et instructif. Le résoudre consiste à transformer les étiquettes de plusieurs annotateurs en une seule étiquette fiable, par une relecture d'expert, par agrégation ou par un modèle statistique qui pondère les annotateurs selon leur fiabilité. Imposer une réponse unique trop tôt revient à jeter le signal qui indique quels éléments sont véritablement difficiles.
Trois façons de résoudre
-
Vote majoritaire. Simple et transparent : on prend l'étiquette la plus fréquente. Cela fonctionne bien quand les annotateurs se valent à peu près et que la tâche est claire, mais on traite alors un annotateur négligent comme un annotateur soigneux.
-
Arbitrage par un expert. On achemine les éléments en désaccord vers un expert qui tranche. Le plus précis, le plus coûteux. À réserver aux éléments qui comptent et là où l'agrégation n'est pas fiable.
-
Agrégation statistique. Des modèles comme MACE (Multi-Annotator Competence Estimation) déduisent la fiabilité de chaque annotateur à partir de son profil d'accord et produisent une étiquette pondérée de « meilleure estimation », assortie d'un score de compétence par annotateur. Cela réduit automatiquement le poids des annotateurs qui répondent n'importe comment, sans vérifier chaque élément à la main. Voir l'idée sous-jacente des modèles à variable latente pour les étiquettes issues du crowdsourcing.
Un flux de travail pratique
- Recueillez des annotations qui se chevauchent (plusieurs personnes par élément).
- Agrégez par vote majoritaire ou avec MACE pour obtenir une étiquette provisoire et repérer les éléments à faible accord.
- N'envoyez à l'arbitrage d'expert que les éléments repérés.
- Réinjectez ce que vous apprenez dans les consignes.
Potato prend en charge un flux d'arbitrage où un relecteur voit côte à côte les étiquettes de tous les annotateurs et consigne la réponse retenue.
Quand le désaccord est la donnée
Pour les tâches subjectives, comme l'humour, l'offense ou l'émotion, un désaccord persistant peut refléter de vraies différences entre les personnes, et non une erreur. Dans ces cas, envisagez de conserver la distribution complète des étiquettes (parfois appelée étiquettes souples ou annotation perspectiviste) au lieu de la réduire à une seule réponse. Potato permet de capturer des distributions plutôt que de forcer le consensus.