Skip to content

Halluzinationen mit Span-Annotation erkennen

Wie du Halluzinationen und Faktenfehler in Modellausgaben findest und labelst: mit Span-Annotation und MQM-artiger Fehlermarkierung in Potato.

Eine Halluzination ist eine Aussage, die ein Modell mit voller Überzeugung trifft, obwohl weder seine Eingabe noch die Faktenlage sie deckt. Am nützlichsten erfasst man sie, indem man genau die betroffenen Wörter markiert und benennt, was an ihnen falsch ist: eine Span-Annotation über der Modellausgabe. Labels auf Span-Ebene sagen sehr viel mehr darüber, was zu tun ist, als ein einzelnes Häkchen bei „diese Antwort ist falsch“.

Hintergrund dazu unter Halluzination (künstliche Intelligenz).

Warum Spans statt ganzer Antworten

Ein Label „nicht quellentreu“ für die ganze Antwort sagt dir, dass etwas falsch ist; ein Span sagt dir, was und wo. Mit Span-Daten kannst du Fehlerraten pro Typ messen, Muster finden und gezielte Trainingsdaten bauen. Das Vorbild ist MQM (Multidimensional Quality Metrics), das übliche Rahmenwerk für Fehler-Spans aus der Evaluation maschineller Übersetzung.

Annotation von Fehler-Spans einrichten

yaml
annotation_schemes:
  - annotation_type: span
    name: errors
    description: "Highlight each problematic span and label the error type."
    labels: [unsupported_claim, factual_error, contradiction, fabricated_citation]
  - annotation_type: radio
    name: severity
    description: "How serious is the worst error?"
    labels: [Minor, Major, Critical]

Nimm ein Urteil zum Schweregrad dazu, damit du einen belanglosen Ausrutscher anders gewichten kannst als eine gefährliche Erfindung, so wie MQM es macht.

Die Fehlertypen definieren

  • Unsupported claim: nicht durch die Quelle gedeckt (der Fall für RAG).
  • Factual error: widerspricht gesichertem Wissen.
  • Contradiction: steht im Widerspruch zu etwas weiter oben in derselben Ausgabe.
  • Fabricated citation: ein Beleg, den es nicht gibt oder der etwas anderes sagt als behauptet.

Halte die Menge klein und gib jedem Typ eine einzeilige Definition mit Beispiel, siehe Annotationsrichtlinien schreiben.

Zwei öffentliche Datensätze machen genau das: FAVA markiert feingliedrige Halluzinations-Spans in generiertem Text, und SHROOM ist eine Shared Task zu Fehlern durch Übergenerierung.

Worauf du bei der Qualität achten solltest

  • Gib den Annotierenden das Quellmaterial; ohne das lässt sich „nicht gedeckt“ gar nicht bestimmen.
  • Regeln für Grenzen sind wichtig: Umfasst der Span den ganzen Satz oder nur den falschen Teilsatz? Entscheide das einmal.
  • Quellentreue ist an den Rändern Auslegungssache; erhebe Überlappung und verfolge die Übereinstimmung.

Weiterführende Lektüre