KI-Auto-Labeling im Vergleich: Label Studio, CVAT, Labelbox, Prodigy, Argilla und Potato

Alle sechs hier verglichenen Werkzeuge können Modelllabels importieren oder erzeugen und sie Menschen zur Prüfung vorlegen. Dieser Vergleich konzentriert sich deshalb darauf, was jedes Werkzeug über die Labels misst, die es behält. In der Dokumentation, die wir im Oktober 2026 gelesen haben, berichten die Werkzeuge Genauigkeit, Precision, Recall oder Übereinstimmung gegenüber Ground Truth oder zwischen Annotierenden als Punktwerte, und keines beschreibt ein Intervall oder eine Fehlerschranke für die Qualität von Maschinenlabels.

Auto-Labeling bezeichnet hier jede Funktion, die das Label eines Modells vor oder anstelle des Labels einer Person auf ein Item setzt, ob das Modell nun ein Detektor ist, ein Klassifikator oder ein LLM, das mit der Aufgabe gepromptet wird. Jedes Werkzeug in diesem Vergleich hat eine Variante davon, und die Werkzeuge unterscheiden sich bei drei Fragen, die man vor der Wahl stellen sollte:

1. Wie Maschinenlabels in ein Projekt gelangen, ob als Vorhersagen importiert, von einem angebundenen Modell erzeugt oder durch einen LLM-Prompt innerhalb des Werkzeugs produziert.
2. Wie eine Person sie prüft und ob die Person beim Labeln die Antwort des Modells sieht.
3. Was das Werkzeug darüber berichtet, wie oft die Maschinenlabels falsch sind, gegenüber welcher Referenz und mit welcher Unsicherheit.

Jeder der folgenden Abschnitte stützt sich auf die eigene Dokumentation des Werkzeugs mit Stand Oktober 2026, die verlinkt ist, wo wir daraus zitieren. Wo wir etwas in der Dokumentation nicht gefunden haben, sagen wir das, denn eine Funktion kann existieren, ohne dokumentiert zu sein.

Label Studio

Label Studio bindet Modelle über ein ML-Backend an, ein SDK, das Ihr Modell als Webserver verpackt, und importiert Vorhersagen unter einem Schlüssel predictions mit einer model_version und einem score. Importierte Vorhersagen lassen sich nicht ändern, und der Score gilt für die gesamte Vorhersage. Die Editionen Enterprise und Starter Cloud ergänzen Prompts, das Vorhersagen aus LLM-Prompts erzeugt und bewertet, und die ML-Seite beschreibt eine Enterprise-Funktion für „LLM-gestütztes Auto-Labeling und Modellevaluation“.

Die Prüfung ist ein Enterprise-Workflow. Der Qualitätsleitfaden hält fest, dass „der Workflow zur Prüfung von Annotationen nur in der Label Studio Enterprise Edition verfügbar ist“, mit den Aktionen Akzeptieren, Ablehnen sowie Korrigieren und Akzeptieren und einer Option, Tasks nach Modellkonfidenz zu ordnen. Einstellungen für die Prüfstichprobe werden als probabilistische Raten angewendet, und Uncertainty Sampling schickt die Vorhersagen mit der geringsten Konfidenz zuerst an Menschen.

Zur Qualität vergleicht Label Studio Enterprise Annotationen und Modellvorhersagen mit Ground Truth, „um einen Genauigkeitswert zwischen 0 und 1 zu berechnen“, und seine Übereinstimmungsmatrix kann Modellversionen einschließen. Prompts berichtet die Gesamtgenauigkeit und F1 gegenüber Ground Truth, die Zahl der ausgewerteten Tasks und die Inferenzkosten, jeweils als Punktwert. Seine Prompts-Übersicht ergänzt: „Je mehr Daten Sie für die Evaluation des Prompts haben, desto sicherer können Sie sich der Ergebnisse sein“, ohne ein Intervall anzugeben.

CVAT

Die automatische Annotation von CVAT annotiert Daten mit einem Detektor oder einem Re-Identifikationsmodell vor, optional mit einem Konfidenzschwellenwert. Welche Modelle verfügbar sind, hängt von der Edition ab. Die Tabelle der KI-Modelle führt Nuclio-Funktionen für die Community-Edition auf sowie Modelle von Drittanbietern aus Hugging Face und Roboflow und native KI-Agenten-Funktionen für CVAT Online und Enterprise.

Für die Prüfung durch Menschen hat CVAT einen Review-Modus zum Melden von Problemen und eine Validierungsphase, und Konsens führt die Arbeit mehrerer Annotierender zu einem Ergebnis mit einem Übereinstimmungswert von 0 bis 1 zusammen. Die Qualitätskontrolle mit Ground Truth und Honeypots von CVAT, gekennzeichnet für CVAT Online und Enterprise, vergleicht Annotationsjobs mit einem Ground-Truth-Job und berichtet Genauigkeit, Precision und Recall. Die Dokumentation beschreibt die Methode als statistisch, da sie die Qualität des gesamten Datensatzes aus einem kleinen Teil schätzt, und sagt, „5-15 % der Daten reichen in der Regel aus“. Der Qualitätsbericht vergleicht jeden Job der Aufgabe mit dem Ground-Truth-Job, bewertet die Ausgabe der automatischen Annotation also nur als Teil dessen, was diese Jobs enthalten, und wir haben keinen Bericht gefunden, der maschinelle von menschlichen Annotationen trennt.

Labelbox

Labelbox importiert Vorlabels, die es als „vorgeschlagene Annotationen, die programmatisch in ein Labelbox-Projekt importiert werden“ beschreibt, damit Menschen sie prüfen. Seine Funktion Foundry erzeugt Labels mit einem Modell, mit einem Konfidenzschwellenwert, „der dem Modell sagt, wie sicher es sein muss, bevor es ein Label vorschlägt“. Foundry ist in allen Plänen außer Educational-Abonnements verfügbar.

Der Leitfaden zur Verwendung von Foundry-Vorhersagen schlägt zwei Wege vor, sie an Menschen weiterzuleiten. Der eine filtert nach Konfidenz und schickt etwa alles unter 0,75 zur Prüfung. Der andere schickt „eine Zufallsstichprobe von Vorhersagen zur Prüfung“, was „Ihnen hilft, systematische Probleme zu erkennen und Kennzahlen zur Gesamtgenauigkeit zu berechnen“. Die Modellmetriken von Labelbox berechnen Precision, Recall, F1, IoU und eine Konfusionsmatrix aus Vorhersagen und Ground Truth bei Schwellenwerten von 0 bis 1. Seine Seite zu abgekündigten Funktionen sagt, dass die Funktion Model experiments ab dem 15. Juli nicht mehr verfügbar ist, ohne ein Jahr zu nennen, während der Metrik-Leitfaden benutzerdefinierte Metriken weiterhin an den Typ Experiment schickt. Prüfen Sie also, ob Metriken für Modellläufe in Ihrem Workspace noch verfügbar sind.

Prodigy

Prodigy ist um ein Modell im Loop herum gebaut. Recipes wie ner.correct zeigen die Vorhersagen eines spaCy-Modells, damit eine Person sie korrigiert, ner.teach und textcat.teach bevorzugen die Beispiele, bei denen sich das Modell am wenigsten sicher ist, und ner.model-annotate speichert die Labels eines Modells, als hätte eine annotierende Person sie vergeben. LLM-Recipes auf Basis von spacy-llm erzeugen Labels für denselben Korrektur-Workflow, und die Dokumentation warnt: „Die LLM-Annotationen können falsch sein. Sie wollen trotzdem im Loop bleiben, um die Annotationen zu kuratieren.“

Das Recipe review löst Konflikte zwischen Annotierenden zu einer endgültigen Annotation auf, und die Recipes metric.iaa.* berichten prozentuale Übereinstimmung, Krippendorffs Alpha und Gwets AC2 zwischen Annotierenden. Die Dokumentation sagt nicht, ob die model-annotate-Labels eines Modells in diese Übereinstimmungswerte einfließen sollen. Um Prompts oder Modelle zu vergleichen, lässt ab.llm.tournament Menschen Paare von Ausgaben beurteilen und ordnet die Kombinationen mit dem Glicko-Wertungssystem. Prodigys Preisseite führt eine Personal- und eine Company-Lizenz mit demselben Installer, derselben Webanwendung und denselben Plugins auf, und nur die Company-Lizenz ergänzt SSO mit OpenID Connect.

Argilla

Argilla hängt Modellausgaben als Vorschläge an Records an, jeweils mit einem Score, dem Agenten, der den Vorschlag erzeugt hat, und einem Typ model oder human. In der Annotationsansicht erscheinen Vorschläge als vorausgefüllte Antworten mit einem Funkel-Symbol, und Konfidenzwerte werden angezeigt, wenn der Datensatz sie enthält. Argilla 1.x hatte ein Metrikmodul, das Antworten mit Vorschlägen verglich und Kennzahlen wie Genauigkeit, F1 und Krippendorffs Alpha berichtete. In der Dokumentation von Argilla 2.x haben wir keine Berichte zu Übereinstimmung oder Modellmetriken gefunden. Synthetische Daten und KI-Feedback, einschließlich LLM-Judging, liegen in der separaten Bibliothek distilabel.

Potato

Potato bindet LLMs und Vision-Modelle über ai_support an und speichert ab Version 2.9, was das Modell zuerst geantwortet hat (pre_annotation_seeds), neben dem, was die annotierende Person gespeichert hat (final_annotation), sodass die Übernahmerate aus Ihren eigenen Daten stammt. icl_labeling gibt einem LLM die Annotationen, bei denen Ihre Annotierenden bereits übereinstimmen, als Beispiele, lässt es den Rest labeln und leitet eine Stichprobe seiner Labels zur verblindeten Verifikation an Menschen zurück, wobei die Genauigkeit pro Schema verfolgt wird.

Für ein Modell oder einen LLM-Judge hält Potatos Judge-Kalibrierung die Labels des Modells dort, wo Annotierende sie nicht sehen können, zieht eine zufällige oder geschichtete Stichprobe zum verblindeten Labeln durch Menschen und berichtet die Genauigkeit gegenüber dem menschlichen Gold-Label, Cohens Kappa für die Paare Mensch-Modell, Modell-Modell und Mensch-Mensch, Krippendorffs Alpha sowie die Kalibrierung als Expected Calibration Error und Brier-Score. Der Vergleich des Kappa des Modells mit dem Kappa unter den menschlichen Annotierenden zeigt, ob das Modell etwa so gut abschneidet wie eine weitere annotierende Person, wie Übereinstimmung mit LLM-Judges erklärt. In Solo Mode labelt eine einzelne Fachperson parallel zu einem LLM und übergibt ihm den Rest des Korpus, sobald ihre Übereinstimmung einen Schwellenwert überschreitet. Wie bei den anderen Werkzeugen berichten diese Funktionen Punktschätzungen, und ein Intervall für die Fehlerrate muss außerhalb des Werkzeugs berechnet werden, wie der letzte Abschnitt beschreibt.

Die sechs Werkzeuge und die drei Fragen

Die Tabelle vergleicht die sechs Werkzeuge bei den drei Fragen, auf Grundlage der Dokumentation, die jedes Projekt mit Stand Oktober 2026 veröffentlicht hatte:

Maschinenlabels in jedem Werkzeug prüfen

Ganz gleich, welches Werkzeug Sie verwenden: Die Zahl, die Sie vertreten können, entsteht aus denselben drei Schritten. Ziehen Sie die Items für die Prüfung durch Menschen zufällig und nicht vom Ende mit niedriger Konfidenz, denn eine Stichprobe der schwierigsten Items sagt nichts über die Fehlerrate beim Rest aus. Lassen Sie Menschen diese Stichprobe labeln, ohne die Antwort des Modells zu sehen, denn ein sichtbarer Vorschlag zieht die Antwort zu sich hin. Geben Sie dann die Fehlerrate auf der Stichprobe mit einem Konfidenzintervall an, mit einem Intervall für Binomialanteile wie dem Wilson-Intervall, damit Lesende sehen können, ob 200 geprüfte Labels die Behauptung stützen, die Sie aufstellen.

Die Weiterleitung von Zufallsstichproben in Labelbox, die zufällig ausgewählten Ground-Truth-Frames von CVAT (Online und Enterprise) und Potatos Stichprobe für die Judge-Kalibrierung, die auch geschichtet sein kann, ziehen bereits zufällig. In den anderen Werkzeugen exportieren Sie eine zufällige Teilmenge von Item-IDs, weisen sie als separate Aufgabe mit verborgenen Vorhersagen zu und berechnen das Intervall außerhalb des Werkzeugs.

Weiterführende Lektüre

• Annotationswerkzeuge im Vergleich, für den breiteren Funktionsvergleich
• Vorannotation mit LLMs, über Automation Bias, wenn Menschen Vorschläge prüfen
• Übereinstimmung mit LLM-Judges, darüber, wie man einen Judge mit der Übereinstimmung der Menschen untereinander vergleicht