Le contrôle qualité sans étiquettes étalons

La façon habituelle de vérifier la qualité d'une annotation consiste à glisser des éléments dont on connaît déjà la réponse et à regarder qui se trompe. Ça marche, mais c'est coûteux à construire, ça ne teste que les cas auxquels on a pensé, et les annotateurs expérimentés apprennent à repérer les pièges. Deux techniques donnent un signal de qualité sans le moindre élément étalon : la notation par prédiction des pairs, qui demande aux annotateurs de prédire ce que diront les autres, et le sondage contrefactuel, qui demande si une étiquette survit à une petite modification. Potato propose les deux, sous les noms de Truth Serum et de laboratoire de frontières de décision.

Les étalons de référence et les contrôles d'attention sont la réponse par défaut à « comment savoir si mes annotateurs sont attentifs ? », et ils méritent leur place. Mais ils ont trois coûts bien réels.

Il faut les construire, ce qui mobilise du temps d'expert à étiqueter des éléments que l'on comprend déjà. Ils ne couvrent que les modes de défaillance que l'on avait anticipés. Et sur toute tâche qui dure, les annotateurs finissent par les reconnaître. Un élément étalon réutilisé est un élément étalon qui ne mesure plus rien.

Les deux techniques ci-dessous contournent ces trois problèmes, et aucune n'exige de LLM.

La prédiction des pairs : demander ce que diront les autres

Une fois l'étiquette choisie, Truth Serum pose une question de plus :

Vous avez choisi Sarcastic. Quel pourcentage des autres annotateurs choisira la même étiquette que vous ?

Un curseur. Un clic. Ce seul chiffre supplémentaire fait un travail étonnant.

La carte de prédiction de Truth Serum

Pourquoi la prédiction est informative

La méthode repose sur le principe de la réponse étonnamment populaire (Prelec, Seung & McCoy 2017, Nature ; dans le prolongement du sérum de vérité bayésien de Prelec, 2004). L'affirmation est que la meilleure estimation de la vérité n'est pas la réponse la plus populaire, mais celle qui est plus populaire que les gens ne l'avaient prédit.

Le raisonnement est le suivant. Quelqu'un qui tient une position minoritaire correcte sait en général qu'il est minoritaire. Il voit très bien pourquoi la plupart des gens répondraient autrement, et il le dit quand on lui demande de prédire. Celui qui tient une idée fausse répandue, à l'inverse, a tendance à supposer que tout le monde pense comme lui. Donc quand une réponse dépasse sa propre popularité prédite, cet écart indique que ceux qui la choisissent savent quelque chose que la foule ignore.

Le vote majoritaire échoue le plus durement exactement là où une foule sûre d'elle se trompe et où une minorité informée a raison. C'est le cas pour lequel la notation par réponse étonnamment populaire est faite.

truth_serum:
  enabled: true
  schema: sarcasm
  min_annotators: 5

À notre connaissance, Potato est le premier outil d'annotation à proposer la notation par prédiction des pairs.

Ce que ça vous rapporte

Trois choses, dont aucune n'a demandé de corrigé.

Une file « là où la foule se trompe probablement ». Tous les éléments dont l'étiquette étonnamment populaire diffère de l'étiquette majoritaire. Ce sont ceux qui méritent l'attention d'un expert, et il y en a d'ordinaire bien moins que vous ne le craigniez.

Des scores de calibrage par annotateur. L'écart entre l'accord que chacun avait prédit et celui qu'il a réellement obtenu. Quelqu'un qui prédit systématiquement que 90 % des autres seront d'accord avec lui, et qui obtient systématiquement 55 %, vous apprend quelque chose sur sa lucidité. Vous l'avez appris sans rien planter.

L'alignement SP. La fréquence à laquelle l'étiquette de chaque annotateur coïncide avec le verdict étonnamment populaire, ce qui donne une approximation grossière du fait d'être informé plutôt que simplement accommodant.

Une réserve, avant de le citer : il s'agit de la variante simplifiée dite de prédiction sur sa propre réponse, où chaque annotateur prédit la popularité de l'étiquette qu'il a choisie plutôt qu'une distribution complète sur toutes les étiquettes. Et min_annotators: 3 est un plancher, pas une recommandation. C'est à partir de cinq que les verdicts cessent d'être bruités.

Les sondes contrefactuelles : demander si l'étiquette survit à une modification

Truth Serum trouve les éléments sur lesquels la foule s'est trompée. Le laboratoire de frontières de décision trouve autre chose : les endroits où votre livre de codes est ambigu, et les annotateurs qui ne lisent pas vraiment.

Dès qu'une étiquette est validée, Potato montre une modification minimale du texte et demande si l'étiquette tient toujours.

Vous avez répondu Polite. Est-ce que cela tiendrait après cette modification ?

Une sonde du laboratoire de frontières de décision

Répondre tient en un clic. Mais parce que vous avez posé la question, l'annotation ordinaire produit désormais trois choses qu'un simple export d'étiquettes ne donne pas.

Des ensembles de contraste, en sous-produit

Chaque sonde à laquelle on répond forme une paire étiquetée (original, contrefactuel). C'est un ensemble de contraste : des données augmentées par contrefactuels, du type de celles dont on a montré qu'elles améliorent la robustesse des modèles (Gardner et al. 2020, Evaluating Models' Local Decision Boundaries via Contrast Sets ; Kaushik et al. 2020).

Construire un ensemble de contraste demande d'ordinaire un travail d'annotation à part, et coûteux. Ici, il tombe tout seul de l'étiquetage que vous faisiez de toute façon.

boundary_probing:
  enabled: true
  schema: politeness
  probes_per_item: 3
  include_invariance: true
  sources: [precomputed, llm, rules]

La liste sources est une chaîne de replis. Vous pouvez livrer des contrefactuels choisis avec vos données, les générer avec un LLM, ou laisser le niveau à base de règles les produire par transformations lexicales : inversion des négations, échange d'intensificateurs, marqueurs de politesse. C'est ce dernier niveau qui permet au laboratoire de frontières de décision de fonctionner sans aucun LLM configuré, et c'est pour cela que la fonctionnalité se dégrade en douceur au lieu de casser quand personne n'a défini de clé d'API.

Un contrôle qualité invisible

Certaines sondes sont des sondes d'invariance : des paraphrases qui préservent le sens. « Envoie-moi les diapos avant la réunion » (« Send me the slides before the meeting ») devient « Avant la réunion, envoie-moi les diapos » (« Before the meeting, send me the slides »).

Un annotateur cohérent ne bascule jamais dessus. Celui qui bascule ou bien ne lit pas attentivement, ou bien n'a pas d'idée stable de ce que veut dire l'étiquette. Dans les deux cas, vous voulez le savoir, et vous l'avez découvert sans planter un seul faux élément. La sonde est indiscernable du travail ordinaire, parce qu'elle est du travail ordinaire.

Le tableau de bord signale les annotateurs dont le taux de « tient » sur les sondes d'invariance passe sous 60 %.

Les justifications de frontière

Quand une étiquette bascule vraiment, l'annotateur dit ce qui a franchi la ligne : « le please adoucit l'ordre ». Ces justifications s'accumulent en une carte des endroits précis où votre consigne est sous-spécifiée, et c'est la matière première d'une meilleure consigne.

Le tableau de bord rend aussi compte de la sensibilité de la frontière par étiquette : parmi les modifications minimales visant chaque étiquette, la part qui l'a effectivement fait basculer. Une étiquette à 90 % de basculements tient sur un fil et a sans doute besoin d'une définition plus nette. Une étiquette à 10 % résiste.

Laquelle choisir ?

Elles répondent à des questions différentes, et elles se combinent.

Si votre inquiétude est « l'étiquette consensuelle est peut-être fausse sur les cas difficiles », commencez par Truth Serum. Si c'est « je ne crois pas mon livre de codes assez précis, et je ne suis pas sûr que tout le monde lise », commencez par le laboratoire de frontières de décision.

Ni l'un ni l'autre ne remplace la psychométrie, qui vous dit à quel point vous fier à chaque étiquette et quels annotateurs pondérer. Les trois ensemble donnent une étude où la qualité se mesure en continu au lieu d'être sondée par échantillons, et où aucune de ces mesures ne dépend d'un corrigé qu'il aurait fallu construire d'abord.

Pour aller plus loin

• Truth Serum et Laboratoire de frontières de décision — la configuration complète
• Des étiquettes avec barres d'erreur — les probabilités a posteriori de la TRI et le détecteur de problèmes de livre de codes
• Étalons de référence et contrôles d'attention — l'approche classique, et les cas où elle reste la bonne
• Contrôle qualité
• Rédiger des consignes d'annotation