Skip to content

Rédiger des consignes d'annotation efficaces

Comment rédiger un manuel d'annotation qui produit des étiquettes cohérentes : définitions claires, exemples résolus, règles pour les cas limites et boucle de test pilote et révision.

Les consignes d'annotation (un « manuel de codage ») sont le règlement que suivent les annotateurs. Ce qui détermine le plus la qualité des étiquettes, c'est de savoir si les consignes amènent deux personnes attentives à choisir la même étiquette, pas leur degré de détail. Un manuel court et précis, accompagné de bons exemples, vaut mieux qu'un manuel long et flou.

Cela rejoint l'analyse de contenu en sciences sociales, où la conception des manuels de codage est étudiée depuis des décennies, et c'est ce qui détermine en fin de compte votre fidélité inter-juges.

Ce que contient un bon manuel

  • Une définition d'une phrase par étiquette, plus une ligne sur ce que l'étiquette n'est pas. Les définitions négatives évitent les désaccords les plus fréquents.
  • Des exemples résolus, y compris les cas limites. Les éléments réels tirés de vos données valent mieux que des exemples inventés.
  • Des règles de départage. Quand deux étiquettes pourraient s'appliquer, indiquez laquelle l'emporte. C'est là que la cohérence se gagne ou se perd.
  • Une valeur par défaut « en cas de doute » et une porte de sortie (une option « impossible à déterminer ») pour que les annotateurs ne devinent pas en silence.

Placez les règles là où les annotateurs les voient

Potato peut afficher les instructions et les info-bulles de chaque étiquette juste à côté des contrôles, de sorte que la consigne réside au point de décision plutôt que dans un document à part :

yaml
annotation_schemes:
  - annotation_type: radio
    name: toxicity
    description: "Is this comment toxic? Toxic = rude, disrespectful, or likely to make someone leave a conversation."
    labels: [Toxic, Not toxic, Can't tell]
    tooltips:
      Toxic: "Insults, threats, identity attacks, or harassment."
      Not toxic: "Disagreement or strong opinion without an attack."
      Can't tell: "Not enough context to judge."

L'option « Can't tell » compte : elle distingue l'ambiguïté réelle des suppositions forcées, ce qui garde vos mesures d'accord honnêtes.

Testez, puis révisez

Les consignes ne sont jamais justes du premier coup. Menez un petit test pilote, examinez chaque élément où les annotateurs ont divergé, et déterminez si la consigne manquait de clarté ou si l'élément était réellement ambigu. Corrigez la consigne et refaites un test. Deux ou trois tours suffisent généralement à stabiliser l'ensemble des étiquettes.

Les étalons de référence et contrôles d'attention de Potato vous permettent d'encoder les cas tranchés sous forme de contrôles, afin que les futurs annotateurs restent calibrés.

Pour aller plus loin