Skip to content

Détecter les hallucinations avec l'annotation de segments

Comment repérer et étiqueter les hallucinations et les erreurs factuelles dans la sortie d'un modèle grâce à l'annotation de segments et au marquage d'erreurs de type MQM dans Potato.

Une hallucination est une affirmation qu'un modèle énonce avec assurance sans qu'elle soit étayée par son entrée ni par les faits. La façon la plus utile de la capturer est de surligner les mots exacts et d'étiqueter ce qui ne va pas : une tâche d'annotation de segments sur la sortie du modèle. Les étiquettes au niveau du segment sont bien plus exploitables qu'un simple indicateur « cette réponse est fausse ».

Pour le contexte, voir hallucination (intelligence artificielle).

Pourquoi marquer des segments, et non des réponses entières

Une étiquette « infidèle » sur toute la réponse vous dit *qu'*il y a un problème ; un segment vous dit quoi et où. Les données par segment vous permettent de mesurer les taux d'erreur par type, de repérer des schémas et de constituer des données d'entraînement ciblées. Cela reprend MQM (Multidimensional Quality Metrics), le cadre standard de segments d'erreur issu de l'évaluation de la traduction automatique.

Mettre en place l'annotation de segments d'erreur

yaml
annotation_schemes:
  - annotation_type: span
    name: errors
    description: "Highlight each problematic span and label the error type."
    labels: [unsupported_claim, factual_error, contradiction, fabricated_citation]
    label_colors:
      unsupported_claim: "#f59e0b"
      factual_error: "#ef4444"
      contradiction: "#8b5cf6"
      fabricated_citation: "#ec4899"
  - annotation_type: radio
    name: severity
    description: "How serious is the worst error?"
    labels: [Minor, Major, Critical]

Ajoutez un jugement de gravité pour pouvoir pondérer différemment un écart trivial et une fabrication dangereuse, comme le fait MQM.

Définir les types d'erreur

  • Affirmation non étayée : non appuyée par la source (le cas RAG).
  • Erreur factuelle : contredit un fait établi.
  • Contradiction : entre en conflit avec un passage antérieur de la même sortie.
  • Citation fabriquée : une référence qui n'existe pas ou qui ne dit pas ce qu'on lui prête.

Gardez l'ensemble restreint et donnez à chaque type une définition d'une ligne assortie d'un exemple, conformément à Rédiger des consignes d'annotation.

Considérations de qualité

  • Donnez aux annotateurs le matériel source ; « non étayé » est indéfinissable sans lui.
  • Les règles de délimitation comptent : le segment couvre-t-il toute la phrase ou seulement la proposition fausse ? Tranchez une fois pour toutes.
  • La fidélité est subjective dans les cas limites ; recueillez du chevauchement et suivez l'accord.

Pour aller plus loin