Zum Inhalt springen

Modellgestütztes Labeln mit einem auf deinen Labels trainierten Modell

Wann Vorlabels eines auf den eigenen Annotationen trainierten Modells Zeit sparen, wie Vorlabels Annotatoren verankern und wie eine Holdout-Gruppe den Effekt misst.

Modellgestütztes Labeln beschleunigt die Annotation, indem ein Modell auf den Labels trainiert wird, die deine Annotatoren bereits vergeben haben, und die Vorhersagen des Modells für neue Items als Vorlabels zum Bestätigen oder Korrigieren angezeigt werden. Weil ein Vorlabel den Annotator zugleich zur Antwort des Modells zieht, sollte eine Studie mit Vorlabels einige Annotatoren zurückhalten und messen, wie weit sich die Antworten verschieben.

Neu in v2.14.0

Ein Vorlabel ist ein Label, das ein Modell für ein Item vorgeschlagen hat, bevor eine Person das Item gelabelt hat. Modellgestütztes Labeln, auch Vorlabeln genannt, ist ein Human-in-the-Loop-Workflow, in dem Annotatoren diese Vorlabels annehmen, bearbeiten oder ablehnen und die angenommenen und korrigierten Labels zum Datensatz werden. Dieser Leitfaden behandelt den Fall, dass das Modell auf den eigenen Annotationen des Projekts trainiert und mit jeder neuen Annotation neu trainiert wird. Der Leitfaden zu LLM- und Bild-Vorannotation behandelt Vorlabels eines per Prompt gesteuerten Allzweckmodells, und der Leitfaden zu Active Learning behandelt die Wahl der nächsten Items zum Labeln.

Wie sich ein auf deinen Labels trainiertes Modell von LLM-Vorannotation unterscheidet

Ein LLM oder ein vortrainiertes Bildmodell kann ab dem ersten Item vorlabeln, geleitet von einem Prompt und einigen Beispielen. Ein auf deinen Labels trainiertes Modell startet mit nichts und braucht zuerst eine Start-Menge gelabelter Items. Der Trainer sklearn-text von Potato verweigert das Anpassen mit weniger als 10 Items im Trainings-Split, und die Klassifikatoren für Text, Tokens und Bilder von Hugging Face verweigern es unter 20. Dafür lernt das trainierte Modell die Label-Grenzen, die deine Annotatoren auf deinen Items tatsächlich ziehen. Jeder Lauf wird an Items bewertet, die vom Training zurückgehalten wurden, und der Score steht auf der Training-Seite, bevor ein Annotator ein Vorlabel sieht. Ein kleiner Klassifikator läuft außerdem auf deinem eigenen Rechner ohne Kosten pro Item.

LLM-Vorschläge können den Beginn einer Studie abdecken, während die Start-Menge wächst, und das trainierte Modell kann übernehmen, sobald der Holdout-Score des trainierten Modells die Übereinstimmung des LLM mit denselben Labels übersteigt. Active Learning lässt sich mit beidem kombinieren, denn Active Learning wählt die Reihenfolge der Items, und das Vorlabeln verändert die Arbeit an jedem Item.

Wann Vorlabels Zeit sparen

Vorlabeln spart Zeit, wenn das Lesen und Bestätigen eines Labels schneller geht als das Vergeben eines Labels. In einem Experiment zum Part-of-Speech-Tagging mit zwei Annotatoren maß Fort und Sagot (2010) bei einem Annotator etwa 7,5 Minuten pro 10 Sätze ohne Vorannotation und etwa 2,5 Minuten beim Korrigieren der Ausgabe eines Taggers. Ein Tagger, der auf nur 50 Sätzen trainiert war, erreichte 81,6 % Genauigkeit, und die Zeit, die die Vorannotationen dieses Taggers sparten, unterschied sich nicht signifikant von der Zeit, die ein auf 37.990 Sätzen trainierter Tagger mit 96,4 % sparte. Nur der Tagger, der auf 10 Sätzen trainiert war, machte die Annotation signifikant langsamer als die anderen Tagger, und dieser Tagger war zu 66,5 % genau. Lingren et al. (2014) fanden bei der Annotation klinischer benannter Entitäten Zeitersparnisse von 13,85 % bis 21,5 % pro Entität, ohne signifikante Änderung der Übereinstimmung oder der Leistung der Annotatoren. Mikulová et al. (2022) fanden, dass Vorannotation durch einen genauen Parser die Dependenzannotation schneller und konsistenter machte.

Für ein Modell, das auf den eigenen Labels eines Projekts trainiert wurde, legt das Ergebnis von Fort und Sagot nahe, dass ein Modell, das auf den ersten paar Dutzend gelabelter Items trainiert wurde, schon Zeit sparen kann. Ein Modell, das noch nahe am Zufall liegt, kostet Zeit, daher sollten die ersten Vorlabels auf einen Holdout-Score warten, der deutlich über dem Zufall liegt.

Wann Vorlabels schaden

Vorlabels verändern die Antworten ebenso wie die Geschwindigkeit. Anchoring ist der Sog einer vorgeschlagenen Antwort auf ein späteres Urteil, und Durchwinken ist das ungelesene Annehmen von Vorschlägen, eine Form des Automation Bias. Im Experiment von Fort und Sagot sank die Genauigkeit des genaueren Annotators mit den Vorannotationen des Taggers mit 81,6 % von 98,1 % auf 95,8 %, und mit dem besten Tagger machte derselbe Annotator systematische Fehler, die denen des Taggers entsprachen (Adjektiv statt Partizip Perfekt). In einer präregistrierten Studie zu LLM-Vorschlägen bei subjektiven Aufgaben fanden Schroeder et al. (2025), dass Annotatoren nicht schneller wurden und die Vorschläge oft genug übernahmen, um die Label-Verteilung zu verschieben. Die gemessene Genauigkeit des LLM stieg außerdem, wenn die unterstützten Labels als Bewertungsreferenz dienten.

Das erneute Training auf angenommenen Vorlabels fügt eine Rückkopplungsschleife hinzu. Ein Vorlabel, das der Annotator unverändert speichert, wird zur Antwort dieses Annotators, und der nächste Trainingslauf lernt aus der Antwort wie aus jedem anderen Label. Ein Fehler, den die Annotatoren annehmen, kehrt deshalb als Trainingsdaten zurück, und das nächste Modell kann den Fehler bei neuen Items wiederholen. Übereinstimmungsmaße erkennen die Schleife nicht, weil Annotatoren, die dasselbe Vorlabel annehmen, per Konstruktion übereinstimmen. Prüfen von Durchwinken unterscheiden beschreibt Zeitsignale für Annotatoren, die ohne Lesen annehmen, und Messen, wie LLM-Vorschläge Annotatoren verankern beschreibt Blind-Items für Annotatoren, die lesen und dennoch gezogen werden.

Designentscheidungen

Vier Einstellungen entscheiden, ob Vorlabels einer bestimmten Studie helfen: die Konfidenzschwelle, die Items, die Vorlabels bekommen, der Anteil zurückgehaltener Annotatoren und die Häufigkeit des erneuten Trainings.

Konfidenzschwelle

Unter einer Konfidenzschwelle wird eine Vorhersage verborgen, und der Annotator labelt das Item von Grund auf. Eine höhere Schwelle zeigt weniger Vorlabels und einen größeren Anteil richtiger. Eine Schwelle hat nur dann Bedeutung, wenn die Konfidenzen des Modells kalibriert sind. Die Vorhersagen eines kalibrierten Modells mit einer Konfidenz von 0,8 sind auf zurückgehaltenen Items zu etwa 80 % richtig. sklearn-text von Potato kalibriert die Konfidenzen des Klassifikators standardmäßig, sobald ein Lauf mindestens 50 Trainings-Items hat, mit Platt-Skalierung unter 1.000 Items und isotoner Regression darüber. Lege die Schwelle anhand der zurückgehaltenen Items fest, bei der Konfidenz, oberhalb der das Modell oft genug recht hat, sodass das Prüfen eines Vorlabels schneller geht als das Labeln des Items.

Welche Items Vorlabels bekommen

Potato vorlabelt nie die eigenen Trainings-Items eines Modells, weil ein Modell bei den Trainingsdaten aus Gründen sicher ist, die nichts über neue Daten aussagen. Halte darüber hinaus Vorlabels von den Items fern, mit denen du die Inter-Annotator-Übereinstimmung misst, und von Gold-Items. Die Übereinstimmung bei Items mit einem gemeinsamen Vorlabel misst das Vorlabel, und ein Gold-Item, das mit dem Vorlabel auf dem Bildschirm beantwortet wird, misst das Modell ebenso wie den Annotator. Bei den übrigen Items bringt eine Prüfwarteschlange, die das Item mit der geringsten Konfidenz zuerst ausliefert, Annotatoren zu den wahrscheinlichen Fehlern des Modells. Eine Warteschlange, die jedes Item mit der geringsten Konfidenz zuerst ausliefert, passt zu einer Studie, in der jedes Item noch ein menschliches Label braucht.

Annotatoren zurückhalten, um den Effekt zu messen

Anchoring wird gemessen, indem Antworten mit einem Vorlabel mit Antworten ohne Vorlabel verglichen werden, gegeben von denselben Annotatoren bei derselben Art von Item. Das ai_support.holdout von Potato hält bei einem zufälligen Anteil der Paare aus Annotator und Item jede Form von Unterstützung zurück, und Vorlabels aus dem Training gehören zu den zurückgehaltenen Formen. Potato zieht pro Paar statt pro Item, sodass die meisten Items sowohl unterstützte als auch zurückgehaltene Annotatoren bekommen. Ein gesalzener Hash hält jedes Paar nach einem Neustart in derselben Gruppe. Für die Schemas radio, multiselect, likert und select vergleicht der Tab AI influence des Admin-Dashboards die beiden Gruppen danach, wie oft Antworten mit dem Modell übereinstimmen, wie oft Antworten mit dem Gold übereinstimmen und wie groß die Übereinstimmung innerhalb jeder Gruppe ist. Der Tab berichtet die Differenz der Modellübereinstimmung mit einem 95-%-Bootstrap-Intervall, sobald jede Gruppe 10 Antworten auf Items mit einer Modellantwort hat. Lege Anteil und Salt fest, bevor die Annotation beginnt, weil eine Änderung beider Werte mitten in der Studie die Gruppen neu mischt. Measuring AI influence listet jede Form von Unterstützung auf, die der Holdout zurückhält.

Wie oft neu trainieren

Häufiges Neutrainieren hält Vorlabels auf dem Stand der neuesten Entscheidungen zu den Richtlinien und der Korrekturen, und jedes Neutrainieren ersetzt auch die Vorlabels, die Annotatoren sehen. auto_retrain von Potato startet einen Lauf, sobald update_frequency neue Annotationen eingetroffen sind (standardmäßig 25) und seit dem Ende des letzten Laufs min_interval_s Sekunden vergangen sind (standardmäßig 600). Ein größeres update_frequency spart Rechenzeit und hält die Vorlabels über längere Arbeitsphasen stabil. Halte split_seed für die Studie fest, weil eine Änderung des Seeds zurückgehaltene Items ins Training verschiebt und den Holdout-Score eines Laufs mit dem des nächsten unvergleichbar macht. Potato legt außerdem jedes Item, das ein Reviewer korrigiert hat, in den Trainings-Split jedes späteren Laufs. Eine Korrektur lehrt dann das nächste Modell und wird nie zur Bewertung des Modells verwendet.

Modellgestütztes Labeln in Potato

Das Modelltraining von Potato passt auf der Admin-Seite Training ein Modell auf den eigenen Annotationen einer Studie an, bewertet das Modell an zurückgehaltenen Items und schreibt die Vorhersagen des Modells als Vorlabels in die Items zurück. Das Zurückschreiben zeigt die Antwort des Modells auf der Annotationsseite vorausgewählt. Ein Vorlabel wird nur dann zur Antwort des Annotators, wenn der Annotator das Vorlabel bearbeitet oder weitergeht. Bis dahin zählt das Item nicht als erledigt. Diese Blöcke fügen einer Konfiguration mit einem radio-Schema namens sentiment modellgestütztes Labeln mit automatischem Neutrainieren und einem 20-%-Holdout hinzu:

yaml
model_training:
  enabled: true
  auto_retrain:
    enabled: true
    trainer: sklearn-text
    schemas: [sentiment]
    update_frequency: 50
    min_interval_s: 600
  writeback:
    schemas: [sentiment]
    include_unlabeled: true
    min_confidence: 0.8
 
ai_support:
  holdout:
    fraction: 0.2
    salt: reviews-2026

writeback.schemas nennt die Schemas, deren Vorhersagen Annotatoren sehen. Die Liste ist standardmäßig leer, und Annotatoren sehen keine Vorhersagen, bis die Liste ein Schema nennt. include_unlabeled: true sagt auch für Items voraus, die noch niemand gelabelt hat, und bei diesen Items spart ein Vorlabel Zeit. Ohne die Einstellung sagt ein Lauf nur für seine zurückgehaltenen Items voraus. Vorhersagen unter min_confidence werden gespeichert und nicht angezeigt. Der Holdout-Block funktioniert auch bei ausgeschaltetem ai_support.enabled.

assignment_strategy: model_review liefert vorgelabelte Items zur Prüfung aus, das mit der geringsten Konfidenz zuerst, und assignment_strategy: llm_confidence liefert jedes Item in dieser Reihenfolge aus. Ein Reviewer hält zu jedem Vorlabel ein Urteil accept, correct oder reject fest. Ein abgelehntes Vorlabel geht vom Item und wird nicht erneut angezeigt. DELETE /admin/training/api/runs/<run_id>/predictions zieht jedes Vorlabel zurück, das ein Lauf geschrieben hat. Modell im Kreislauf führt Schritt für Schritt durch das Zurückschreiben, die Prüfwarteschlange, die Acquisition-Ordnung und auto_retrain, und die Referenz zum Zurückschreiben im Upstream-Repository listet jede Prüfung auf, die eine Vorhersage besteht, bevor ein Annotator sie sieht.

Literatur

  1. Fort, K., and Sagot, B. (2010). Influence of Pre-annotation on POS-tagged Corpus Development. Proceedings of the Fourth Linguistic Annotation Workshop, 56-63. https://aclanthology.org/W10-1807/
  2. Lingren, T., Deleger, L., Molnar, K., Zhai, H., Meinzen-Derr, J., Kaiser, M., Stoutenborough, L., Li, Q., and Solti, I. (2014). Evaluating the impact of pre-annotation on annotation speed and potential bias: natural language processing gold standard development for clinical named entity recognition in clinical trial announcements. Journal of the American Medical Informatics Association, 21(3), 406-413. https://doi.org/10.1136/amiajnl-2013-001837
  3. Mikulová, M., Straka, M., Štěpánek, J., Štěpánková, B., and Hajič, J. (2022). Quality and Efficiency of Manual Annotation: Pre-annotation Bias. Proceedings of the Thirteenth Language Resources and Evaluation Conference, 2909-2918. https://aclanthology.org/2022.lrec-1.312/
  4. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just Put a Human in the Loop? Investigating LLM-Assisted Annotation for Subjective Tasks. Findings of the Association for Computational Linguistics: ACL 2025, 25771-25795. https://doi.org/10.18653/v1/2025.findings-acl.1323