Mesurer l'ancrage des annotateurs sur les suggestions d'un LLM grâce aux items en aveugle

Un annotateur qui voit l'étiquette suggérée par un LLM tend à donner cette étiquette, si bien que l'accord entre les personnes et le modèle est plus élevé quand la suggestion est à l'écran que quand elle ne l'est pas. Masquez la suggestion sur un échantillon aléatoire d'items, mesurez l'accord sur ces items en aveugle, et appuyez-vous sur l'accord en aveugle plutôt que sur l'accord global pour décider jusqu'où faire confiance au modèle.

L'ancrage est la tendance d'un nombre ou d'une réponse vus en premier à tirer un jugement ultérieur vers eux. En annotation, l'ancre est une pré-étiquette, une suggestion du modèle que l'annotateur accepte ou corrige. L'ancrage diffère de la validation machinale, où un annotateur accepte les suggestions sans les lire. Un annotateur attentif qui lit chaque suggestion peut tout de même être ancré, parce que sur un item ambigu la réponse suggérée est déjà sur la page. Les signaux de temps repèrent la validation machinale, comme le décrit L'accord ne peut pas détecter la validation machinale. Un annotateur ancré peut en revanche passer un temps normal sur un item, donc le temps ne distingue pas l'ancrage d'un jugement indépendant.

Ce qui montre que les suggestions changent les étiquettes

Une expérience préenregistrée (Schroeder et al., 2025) a recueilli 7 000 annotations sur des tâches subjectives auprès de 350 travailleurs du crowdsourcing, dans 4 conditions, avec 2 modèles et 2 jeux de données. Afficher les suggestions du LLM n'a pas rendu les annotateurs plus rapides, mais a augmenté la confiance qu'ils déclaraient. Les annotateurs ont repris les suggestions assez souvent pour modifier significativement la distribution des étiquettes par rapport aux annotateurs qui n'en voyaient aucune. Quand les étiquettes produites avec l'aide du LLM ont servi à évaluer ce LLM, ses performances mesurées ont augmenté significativement.

L'accord entre un modèle et des relecteurs qui ont vu ses suggestions est donc en partie l'accord du modèle avec lui-même. Toute décision qui repose sur ce chiffre, comme confier le reste d'un corpus au modèle dès que l'accord dépasse 90 %, se prend sur un chiffre gonflé.

Items en aveugle et écart d'ancrage

Avant le début de l'annotation, choisissez une part aléatoire d'items que l'annotateur étiquette sans la suggestion. Sur les autres, la suggestion apparaît comme d'habitude. Comparer les deux donne trois chiffres :

l'accord en aveugle, entre le modèle et les étiquettes données sans sa suggestion, qui estime à quelle fréquence le modèle a raison ;
l'accord avec suggestion visible, entre le modèle et les étiquettes données avec sa suggestion à l'écran ; et
l'écart d'ancrage, l'accord avec suggestion visible moins l'accord en aveugle, qui estime à quel point la suggestion déplace les personnes.

Les items en aveugle doivent être choisis au hasard et fixés pour toute l'étude. Choisir les items les plus difficiles, ou laisser un annotateur décider du moment où il regarde, rend l'échantillon en aveugle non représentatif, et l'accord en aveugle n'estime alors rien sur le reste du corpus. Une étiquette ne compte aussi comme aveugle que si l'annotateur n'a jamais vu de suggestion pour cet item, donc un réétiquetage après un désaccord va avec les étiquettes données avec suggestion visible.

La part d'items en aveugle est un compromis entre vitesse et preuve. Chaque item en aveugle est étiqueté sans le temps que fait gagner une suggestion, et trop peu d'items en aveugle rendent l'accord en aveugle bruité. Les valeurs par défaut de Potato sont une part de 20 % avec un plancher de 20 items en aveugle. À cette part, une étude de 20 items ne produit qu'environ 4 items en aveugle : fixez donc le plancher à ce que le corpus peut fournir.

Les suggestions en aveugle dans le Solo Mode

Le Solo Mode est le dispositif de Potato pour un expert qui travaille avec un LLM. Le LLM étiquette le corpus, l'expert étiquette à ses côtés, et le Solo Mode confie les items restants au LLM dès que l'accord de l'expert avec lui dépasse end_human_annotation_agreement. Avant Potato 2.11, cet accord était mesuré sur des étiquettes données avec la suggestion visible. À partir de la 2.11, solo_mode.suggestions contrôle le moment où la suggestion apparaît :

yaml

solo_mode:
  suggestions:
    display: blind_sample      # before_label | after_label | blind_sample
    blind_rate: 0.2
    minimum_blind_sample: 20

blind_sample masque la suggestion sur une part fixe de 20 % des items, choisie une fois pour toute l'étude, si bien qu'un rechargement ou un redémarrage garde les mêmes items en aveugle. after_label ne montre jamais la suggestion en premier, et quand l'expert et le LLM sont en désaccord, la page de résolution affiche l'étiquette du LLM et son raisonnement. Une fois atteintes 20 comparaisons en aveugle, le passage de relais compare l'accord en aveugle au seuil, au lieu de l'accord global.

La carte Blind Agreement du tableau de bord affiche côte à côte l'accord en aveugle et l'accord avec suggestion visible, l'écart entre les deux, et la fréquence à laquelle l'expert a repris la suggestion avec le bouton Accept. L'écart est indiqué dès que chaque côté compte au moins 5 comparaisons. Un large écart positif signifie que l'expert est plus souvent d'accord avec le LLM quand il voit sa réponse. Dans ce cas, gardez plus d'items en aveugle ou passez à after_label.

La calibration en aveugle dans le moteur d'étiquetage

Le moteur d'étiquetage de Potato, nouveau lui aussi dans la 2.11, applique la même règle à chaque étiquette qu'il utilise comme preuve. Les demandes de calibration, de certification et d'audit sont tirées au hasard avec des probabilités d'inclusion enregistrées, et tant qu'une personne en détient une, le serveur retient toute réponse machine pour cet item. Les pré-annotations, le juge en ligne et l'assistant IA sont tous désactivés, et l'item reste en aveugle pour cette personne après l'enregistrement. Le moteur ne certifie les étiquettes machine que par rapport à ces étiquettes en aveugle.

Les demandes de vérification sont le cas inverse. Elles montrent la réponse de la machine, demandent à la personne de la garder ou de la modifier, et enregistrent la réponse préremplie, ce qui permet de mesurer à quelle fréquence les personnes l'acceptent. Le moteur n'utilise jamais les réponses de vérification pour certifier, parce qu'elles sont ancrées par construction. Définir humans.verify_visibility: blind sert aussi les demandes de vérification sans la réponse, au prix du temps que fait gagner une suggestion.

Les limites d'un échantillon en aveugle

Un échantillon en aveugle mesure le modèle par rapport à des personnes sans assistance, ce qui n'est la bonne référence que si ces personnes sont fiables sur la tâche. Sur une tâche subjective où des annotateurs attentifs ne s'accordent pas entre eux, l'accord en aveugle plafonne sous 100 %, et un modèle peut se trouver à ce plafond. Comparez l'accord du modèle avec les personnes à l'accord des personnes entre elles, comme le décrit Accord des juges LLM, avant de lire un accord en aveugle faible comme le signe d'un modèle faible.

Un échantillon en aveugle laisse aussi telles quelles les étiquettes données avec une suggestion. Ces étiquettes restent ancrées, et un jeu de données construit surtout à partir d'elles hérite des préférences du modèle. Publiez l'accord en aveugle et l'écart d'ancrage avec le jeu de données, et définissez display: blind_sample avant que le premier item soit étiqueté, car les items étiquetés avec la suggestion visible ne peuvent pas devenir aveugles après coup.

Pour aller plus loin

L'accord ne peut pas détecter la validation machinale, sur les signaux de temps pour les annotateurs qui acceptent sans lire
Pré-annotation par LLM, sur le biais d'automatisation dans les pré-étiquettes relues
Certifier les étiquettes d'un LLM avec un échantillon humain en aveugle, sur la certification des étiquettes machine par rapport à un échantillon en aveugle

Références

Schroeder, H., Roy, D., and Kabbara, J. (2025). Just put a human in the loop? Investigating LLM-assisted annotation for subjective tasks. Findings of ACL 2025. https://doi.org/10.18653/v1/2025.findings-acl.1323