Skip to content
Guides6 min read

Mit verblindeten Items messen, wie LLM-Vorschläge Annotierende verankern

Wer das Label eines LLM sieht, labelt anders. Verbergen Sie den Vorschlag bei einer Zufallsstichprobe und vergleichen Sie verblindete mit sichtbarer Übereinstimmung.

Potato Team

Wer das vorgeschlagene Label eines LLM sieht, neigt dazu, genau dieses Label zu vergeben. Die Übereinstimmung zwischen Menschen und Modell ist daher höher, wenn der Vorschlag auf dem Bildschirm steht, als wenn er fehlt. Verbergen Sie den Vorschlag bei einer Zufallsstichprobe von Items, messen Sie die Übereinstimmung auf diesen verblindeten Items und entscheiden Sie anhand der verblindeten statt der gesamten Übereinstimmung, wie weit Sie dem Modell vertrauen.

Ankereffekt heißt die Neigung, ein späteres Urteil in Richtung einer Zahl oder Antwort zu ziehen, die man zuerst gesehen hat. In der Annotation ist der Anker ein Vorlabel, also ein Vorschlag des Modells, den die annotierende Person übernimmt oder korrigiert. Verankerung ist etwas anderes als Durchwinken, bei dem jemand Vorschläge übernimmt, ohne sie zu lesen. Auch eine sorgfältige Person, die jeden Vorschlag liest, kann verankert werden, denn bei einem mehrdeutigen Item steht die vorgeschlagene Antwort bereits auf der Seite. Zeitsignale fangen Durchwinken ab, wie Agreement Cannot Catch Rubber-Stamping beschreibt. Eine verankerte Person kann sich aber ganz normal viel Zeit für ein Item nehmen, daher trennen Zeitsignale Verankerung nicht von einem unabhängigen Urteil.

Belege, dass Vorschläge Labels verändern

Ein präregistriertes Experiment (Schroeder et al., 2025) sammelte 7.000 Annotationen zu subjektiven Aufgaben von 350 Crowdworkern, über 4 Bedingungen, 2 Modelle und 2 Datensätze hinweg. LLM-Vorschläge machten die Annotierenden nicht schneller, steigerten aber ihre selbst angegebene Sicherheit. Die Annotierenden übernahmen die Vorschläge oft genug, um die Labelverteilung im Vergleich zu Annotierenden ohne Vorschläge signifikant zu verändern. Als die mit LLM-Unterstützung erstellten Labels verwendet wurden, um das LLM zu evaluieren, stieg seine ausgewiesene Leistung signifikant.

Die Übereinstimmung zwischen einem Modell und Prüfenden, die seine Vorschläge gesehen haben, ist deshalb zum Teil eine Übereinstimmung des Modells mit sich selbst. Jede Entscheidung, die auf dieser Zahl beruht, etwa den Rest eines Korpus an das Modell zu übergeben, sobald die Übereinstimmung 90 % überschreitet, fällt auf Grundlage eines aufgeblähten Werts.

Verblindete Items und die Verankerungslücke

Wählen Sie vor Beginn der Annotation einen zufälligen Anteil von Items, die ohne Vorschlag gelabelt werden. Bei den übrigen erscheint der Vorschlag wie gewohnt. Der Vergleich beider Gruppen ergibt drei Zahlen:

  • verblindete Übereinstimmung zwischen dem Modell und Labels, die ohne seinen Vorschlag vergeben wurden. Sie schätzt, wie oft das Modell richtig liegt;
  • sichtbare Übereinstimmung zwischen dem Modell und Labels, die mit seinem Vorschlag auf dem Bildschirm vergeben wurden; und
  • die Verankerungslücke, sichtbare minus verblindete Übereinstimmung. Sie schätzt, wie stark der Vorschlag Menschen beeinflusst.

Die verblindeten Items müssen zufällig gewählt und für die Studie festgelegt werden. Wer die schwersten Items wählt oder die annotierende Person entscheiden lässt, wann sie hinschaut, macht die verblindete Stichprobe unrepräsentativ, und die verblindete Übereinstimmung sagt dann nichts über den Rest des Korpus aus. Ein Label zählt außerdem nur dann als verblindet, wenn die Person für dieses Item nie einen Vorschlag gesehen hat. Ein erneutes Labeln nach einer Unstimmigkeit gehört also zu den Labels mit sichtbarem Vorschlag.

Der verblindete Anteil ist eine Abwägung zwischen Tempo und Evidenz. Bei jedem verblindeten Item fällt die Zeit weg, die ein Vorschlag spart, und zu wenige verblindete Items machen die verblindete Übereinstimmung verrauscht. Potatos Standardwerte sind ein Anteil von 20 % mit einer Untergrenze von 20 verblindeten Items. Bei diesem Anteil ergibt eine Studie mit 20 Items nur etwa 4 verblindete Items. Setzen Sie die Untergrenze also auf das, was das Korpus hergeben kann.

Verblindete Vorschläge in Solo Mode

Solo Mode ist Potatos Einrichtung für eine einzelne Fachperson, die mit einem LLM arbeitet. Das LLM labelt das Korpus, die Fachperson labelt parallel dazu, und Solo Mode übergibt die übrigen Items an das LLM, sobald die Übereinstimmung der Fachperson mit ihm end_human_annotation_agreement überschreitet. Vor Potato 2.11 wurde diese Übereinstimmung an Labels gemessen, die bei sichtbarem Vorschlag vergeben wurden. Ab 2.11 steuert solo_mode.suggestions, wann der Vorschlag erscheint:

yaml
solo_mode:
  suggestions:
    display: blind_sample      # before_label | after_label | blind_sample
    blind_rate: 0.2
    minimum_blind_sample: 20

blind_sample verbirgt den Vorschlag bei festen 20 % der Items. Sie werden einmal für die Studie gewählt, sodass nach einem Neuladen oder Neustart dieselben Items verblindet bleiben. after_label zeigt den Vorschlag nie zuerst, und wenn Fachperson und LLM uneins sind, zeigt die Seite zur Auflösung das Label des LLM und seine Begründung. Sobald 20 verblindete Vergleiche vorliegen, vergleicht die Übergabe die verblindete statt der gesamten Übereinstimmung mit dem Schwellenwert.

Die Karte Blind Agreement im Dashboard zeigt verblindete und sichtbare Übereinstimmung nebeneinander, die Lücke zwischen beiden und wie oft die Fachperson den Vorschlag mit der Schaltfläche Accept übernommen hat. Die Lücke wird angezeigt, sobald jede Seite mindestens 5 Vergleiche hat. Eine große positive Lücke bedeutet, dass die Fachperson dem LLM öfter zustimmt, wenn sie seine Antwort sehen kann. Halten Sie in diesem Fall mehr Items verblindet oder wechseln Sie zu after_label.

Verblindete Kalibrierung in der Labeling-Engine

Potatos Labeling-Engine, ebenfalls neu in 2.11, wendet dieselbe Regel auf jedes Label an, das sie als Evidenz verwendet. Kalibrierungs-, Zertifizierungs- und Audit-Anfragen werden zufällig gezogen, und ihre Auswahlwahrscheinlichkeiten werden gespeichert. Solange eine Person eine solche Anfrage hält, hält der Server jede Maschinenantwort für dieses Item zurück. Vorannotationen, der Inline-Judge und der KI-Assistent sind alle aus, und das Item bleibt für diese Person verblindet, auch nachdem sie es gespeichert hat. Die Engine zertifiziert Maschinenlabels nur an diesen verblindeten Labels.

Prüfanfragen sind der umgekehrte Fall. Sie zeigen die Antwort der Maschine, bitten die Person, sie zu behalten oder zu ändern, und speichern die vorausgefüllte Antwort, sodass Sie messen können, wie oft Menschen sie übernehmen. Die Engine verwendet Antworten auf Prüfanfragen nie zum Zertifizieren, weil sie konstruktionsbedingt verankert sind. Mit humans.verify_visibility: blind werden auch Prüfanfragen ohne die Antwort ausgeliefert, auf Kosten der Zeit, die ein Vorschlag spart.

Grenzen einer verblindeten Stichprobe

Eine verblindete Stichprobe misst das Modell an Menschen ohne Unterstützung. Das ist nur dann die richtige Referenz, wenn Menschen ohne Unterstützung bei der Aufgabe zuverlässig sind. Bei einer subjektiven Aufgabe, bei der sich auch sorgfältige Annotierende untereinander uneins sind, hat die verblindete Übereinstimmung eine Obergrenze unter 100 %, und ein Modell kann genau an dieser Obergrenze liegen. Vergleichen Sie die Übereinstimmung des Modells mit Menschen mit der Übereinstimmung der Menschen untereinander, wie Übereinstimmung mit LLM-Judges beschreibt, bevor Sie eine niedrige verblindete Übereinstimmung als Zeichen für ein schwaches Modell lesen.

Eine verblindete Stichprobe lässt außerdem die Labels, die mit sichtbarem Vorschlag vergeben wurden, unverändert. Diese Labels bleiben verankert, und ein Datensatz, der überwiegend aus ihnen besteht, übernimmt die Vorlieben des Modells. Geben Sie die verblindete Übereinstimmung und die Verankerungslücke mit dem Datensatz an, und setzen Sie display: blind_sample, bevor das erste Item gelabelt wird, denn Items, die mit sichtbarem Vorschlag gelabelt wurden, lassen sich nachträglich nicht verblinden.

Weiterführende Lektüre

Literatur

  1. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just put a human in the loop? Investigating LLM-assisted annotation for subjective tasks. Findings of ACL 2025. https://doi.org/10.18653/v1/2025.findings-acl.1323