Textannotationswerkzeuge im Vergleich: quelloffene und kostenpflichtige NLP-Werkzeuge

Ein Textannotationswerkzeug zeigt Annotatoren Dokumente und hält fest, was sie markieren: ein Label für den ganzen Text, hervorgehobene Spans wie Eigennamen und Verknüpfungen zwischen Spans. Potato, INCEpTION, doccano und die Community Edition von Label Studio lassen sich kostenlos selbst hosten, und alle beherrschen Named-Entity-Recognition und Relationen. Am stärksten unterscheiden sich die Werkzeuge, sobald ein Projekt viele Annotatoren hat. Potato rekrutiert sie über Prolific oder einen SONA-Teilnehmerpool, schult und prüft sie vor der eigentlichen Aufgabe und berichtet zufallskorrigierte Span-Übereinstimmung über alle hinweg, ohne kostenpflichtigen Tarif. Bei der Verknüpfung mit Wissensbasen ist INCEpTION voraus, beim Trainieren eines spaCy-Modells während der Annotation Prodigy. brat und Argilla bekommen keine neuen Funktionen mehr.

Die meisten Textaufgaben haben eine von drei Formen. Die Textklassifikation gibt dem ganzen Dokument ein Label. Named-Entity-Recognition und andere Span-Aufgaben markieren Textabschnitte. Relationsextraktion und Koreferenzauflösung verknüpfen Spans miteinander. Jedes Werkzeug auf dieser Seite beherrscht Spans, und beim Verknüpfen unterscheiden sie sich am stärksten.

Diese Seite behandelt nur Text. KI-Annotationswerkzeuge im Vergleich behandelt alle Datentypen auf einer Seite.

Welche Textannotationswerkzeuge lohnen einen Vergleich?

Die Funktionen im direkten Vergleich

Bei der Annotation selbst liegen die fünf gepflegten Werkzeuge nah beieinander:

Bei einer Studie mit vielen Annotatoren liegen sie weit auseinander:

Ein Strich bedeutet, dass wir dazu im September 2026 nichts in der Dokumentation, auf der Preisseite oder im Repository des Werkzeugs gefunden haben. Wenn eine Zelle falsch ist, sagen Sie es uns.

Wo Potato bei Text vorn liegt

Die Studie rund um die Labels. Viel Textannotation ist Forschung mit Crowdworkern: Sentiment, Haltung, beleidigende Sprache, die Qualität von Modellausgaben. Teilnehmende kommen von Prolific oder SONA und gehen mit einem Abschlusscode oder einem Credit. Vor der eigentlichen Aufgabe willigen sie ein, beantworten Screening- oder demografische Fragen und arbeiten Übungsitems mit Rückmeldung durch, bis sie bestehen. Gold-Items und Aufmerksamkeitstests laufen danach neben den echten Items mit. Potato richtet all das aus seiner YAML-Konfiguration ein, und seine Prolific-Anbindung vergibt Items neu, die Teilnehmende abgebrochen haben, und kann die Studie pausieren, wenn der Server ausgelastet ist. Die anderen Werkzeuge hier gehen davon aus, dass die Annotatoren schon zu Ihrem Team gehören. Siehe Eine Crowdsourcing-Studie durchführen, Trainingsphasen und Goldstandards und Aufmerksamkeitstests.

Span-Übereinstimmung, die sich berichten lässt. Der paarweise F1, den Prodigy berechnet, vergleicht jeweils zwei Annotatoren und korrigiert nicht für Zufall. Potatos α über Labels pro Zeichen und sein γ bewerten, wo ein Span beginnt und endet, und sein Label, korrigieren für Zufall und berücksichtigen alle Annotatoren zugleich. INCEpTION bietet Krippendorffs Unitizing-α selbst an, als Matrix von Annotatorenpaaren.

Wer die Antwort geschrieben hat. Wurde eine Freitextantwort eingefügt statt getippt, hat der Annotator sie womöglich nicht selbst geschrieben. Potatos Tastaturprotokollierung hält fest, wie jede Antwort entstanden ist, und Schreibprozess-Markierungen kennzeichnen Antworten, die überwiegend per Einfügen kamen, mit Schwellenwerten, die Sie lesen und ändern können.

Übereinstimmung bei Textlabels

Zwei Annotatoren, die dieselbe Entität markieren, treffen selten genau dieselben Grenzen, und ein Maß, das Labels Token für Token vergleicht, wertet jede Grenzabweichung als Uneinigkeit über das Label. Wie ein Werkzeug die Übereinstimmung über Spans bewertet, zählt deshalb so viel wie die Frage, ob es überhaupt eine berichtet.

• Potato berichtet κ auf Token-Ebene über BIO-Tags, Span-F1 bei exakter und teilweiser Übereinstimmung, Krippendorffs α über Labels pro Zeichen und ein vereinfachtes γ nach Mathet et al. (2015). Die beiden letzten bewerten, wo ein Span beginnt und endet, und nicht nur, wie er benannt wurde. Siehe Übereinstimmung bei Spans messen.
• INCEpTION berechnet Cohens κ, Fleiss' κ und Krippendorffs α, einschließlich der Unitizing-Variante, dargestellt als Matrix von Annotatorenpaaren, und hat eine Kurationsoberfläche, in der Uneinigkeiten aufgelöst werden.
• Prodigy berichtet mit dem Rezept metric.iaa.doc prozentuale Übereinstimmung, Krippendorffs α und Gwets AC2 für Dokumentlabels und mit metric.iaa.span paarweisen F1 für Spans. Sein review-Rezept übernimmt die Adjudikation.
• Label Studio behält Übereinstimmungsmaße seinen kostenpflichtigen Tarifen vor. Für die Enterprise-Edition sind exakte Übereinstimmung, numerische Differenz, IoU und Span-Überlappung aufgeführt.
• doccano hat keine Übereinstimmungsmaße.

Den allgemeinen Fall behandelt Inter-Annotator-Übereinstimmung erklärt.

Die Werkzeuge im Einzelnen

INCEpTION

INCEpTION von der TU Darmstadt ist der Nachfolger von WebAnno und für linguistische Arbeit der naheliegendste Vergleich. Es bietet Relationsebenen, Kettenebenen für Koreferenz, Annotation auf Dokumentebene und Konzeptmerkmale, die eine Annotation mit einem Eintrag in einer Wissensbasis wie Wikidata oder DBpedia verknüpfen. Bei der Verknüpfung mit Wissensbasen ist es Potato voraus. Seine Recommender schlagen Annotationen vor, aktives Lernen ist eingebaut. Es ist eine Java-Anwendung und aufwendiger zu betreiben als die übrigen Werkzeuge hier. Beschrieben ist das System in Eckart de Castilho et al. (EMNLP 2024).

Prodigy

Prodigy von Explosion ist um Annotation mit einem Modell in der Schleife herum gebaut und enger mit spaCy verbunden als jedes andere Werkzeug hier. Es deckt Klassifikation, Spans, Relationen über das Rezept rel.manual und Koreferenz über coref.manual ab und bindet LLMs über spacy-llm an. Aufgaben werden in Python-Rezepten definiert. Es ist das einzige kostenpflichtige Werkzeug auf dieser Seite.

Label Studio

Die Textunterstützung von Label Studio ist ein Teil eines Werkzeugs, das auch Bilder, Audio, Video und Zeitreihen verarbeitet. Sein Relations-Tag verknüpft markierte Regionen. Die Community Edition ist kostenlos und quelloffen. Übereinstimmungsmaße, die Prüfung gegen Referenzdaten und die Qualitäts-Dashboards gibt es in den kostenpflichtigen Tarifen, beginnend mit Starter für 99 $ im Monat.

doccano

doccano ist für Text am schnellsten eingerichtet. Seine Projekttypen sind Dokumentklassifikation, Sequenzannotation, Sequence-to-Sequence, Intent-Erkennung mit Slot-Filling und Speech-to-Text. Sequenzannotationsprojekte können überlappende Spans und Relationen zulassen. Koreferenz- und Ereignisannotation gibt es nicht, Übereinstimmungsmaße ebenfalls nicht.

brat

Viele NLP-Korpora wurden in brat erstellt, und sein Standoff-Format umfasst Entitäten, n-äre Ereignisse, binäre Relationen, Äquivalenzmengen, Attribute und Normalisierungen. Die letzte Version ist v1.3 vom November 2012, der letzte Commit auf master stammt vom Oktober 2021. Der Standalone-Server importiert Pythons Modul cgi, das in Python 3.13 entfernt wurde, und startet deshalb auf einem aktuellen Python nicht ohne Zwischenlösung. Ein brat-Korpus zu lesen, lohnt sich weiterhin. Ein neues Projekt in brat zu beginnen, ist schwerer zu rechtfertigen.

Argilla

Argilla konzentriert sich auf Feedback- und Präferenzdaten für Sprachmodelle und ist mit Hugging Face Datasets integriert. Es unterstützt Textklassifikation, Token-Klassifikation und die Bewertung generierter Texte. Im Repository steht inzwischen, dass die ursprünglichen Autoren weitergezogen sind und das Projekt Fehlerbehebungen und Patches erhält, aber keine neuen Funktionen.

Forschungssysteme

Mehrere Annotationssysteme sind als ACL-Systemdemonstrationen erschienen. Thresh konfiguriert feingranulare Textbewertungsaufgaben in YAML, für Zusammenfassung, Vereinfachung und maschinelle Übersetzung. GATE Teamware 2 übernimmt Dokumentklassifikation mit Annotatorenschulung und Qualitätsprüfung.

Geprüft anhand der Dokumentation, der Preisseite und des Repositorys jedes Projekts im August und September 2026.

Ein Korpus zwischen Werkzeugen umziehen

Seit Version 2.9 importiert Potato brat-Standoff, doccano-JSONL, Prodigy-Dateien aus db-out und CoNLL, sodass ein Projekt, das in einem dieser Werkzeuge begonnen wurde, in Potato weiterlaufen kann. Vorhandene Labels kommen als Vorannotationen an. Relationen und Ereignisse aus brat werden in den Warnungen des Imports aufgeführt und nicht importiert. Siehe Ein Projekt importieren.

In die andere Richtung exportiert Potato CoNLL-2003, CoNLL-U, Hugging-Face-Datasets, JSONL, CSV und Parquet. Siehe Annotationen für ML exportieren.

Eine Entitäten- und Relationsaufgabe in Potato

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

span_link zieht typisierte Verbindungen zwischen Spans aus dem Schema entities, und allowed_source_labels verhindert, dass ein Annotator die falschen Arten von Entitäten verknüpft. Relations- und Ereignisextraktion behandelt Ereignisse und n-äre Relationen, Koreferenzauflösung behandelt Ketten.

Was Potato bei Text nicht kann

• Seine Verknüpfung mit Wissensbasen ist einfacher als die von INCEpTION.
• Es aktualisiert kein spaCy-Modell, während Annotatoren arbeiten, wie es die Rezepte von Prodigy können.
• Es hat keinen spaCy-Exporter. Konvertieren Sie aus CoNLL oder JSONL.
• Beim Import aus brat werden Relationen und Ereignisse übersprungen.

Häufige Fragen

Welches Textannotationswerkzeug sollte ich verwenden?

Für ein einzelnes NER- oder Klassifikationsprojekt macht doccano am wenigsten Aufwand. Für linguistische Annotation, die Entitäten mit einer Wissensbasis verknüpft, ist INCEpTION am vollständigsten. Für eine Studie mit mehreren Annotatoren pro Item, Crowdworkern und einem Übereinstimmungswert, der berichtet werden muss, bringt Potato all das ohne kostenpflichtigen Tarif mit.

Welches Textannotationswerkzeug eignet sich für eine akademische Annotationsstudie?

Wenn die Studie Annotatoren rekrutiert, prüft und schult und die Übereinstimmung berichten muss, deckt Potato jeden dieser Schritte in seiner kostenlosen Version ab. INCEpTION passt besser, wenn die Annotation selbst komplexe linguistische Struktur ist, etwa die Verknüpfung von Entitäten mit einer Wissensbasis. Prodigy eignet sich für ein kleines Team, das beim Annotieren ein spaCy-Modell trainieren will.

Welche Textannotationswerkzeuge funktionieren mit Prolific oder Amazon Mechanical Turk?

Potato hat Prolific eingebaut, dazu SONA und andere Panels. Mechanical Turk wurde am 30. September 2026 geschlossen, daher kann dort heute kein Werkzeug mehr rekrutieren. Potato liest die Teilnehmer-ID aus der URL, zeigt am Ende einen Abschlusscode oder leitet zurück und kann eine Prolific-Studie über die API von Prolific verwalten. INCEpTION hat experimentelle Einladungslinks für Gastannotatoren, die sich an Crowdworker weitergeben lassen, dokumentiert aber keine Abschlusscodes. Prodigy, Label Studio und doccano dokumentieren keine Crowdsourcing-Anbindung.

Gibt es eine quelloffene Alternative zu Prodigy?

Potato, INCEpTION und doccano sind kostenlos und quelloffen. Potato wird in YAML konfiguriert, wo Prodigy Python-Rezepte verwendet, und es importiert die db-out-Dateien von Prodigy, sodass bereits in Prodigy gesammelte Annotationen übernommen werden.

Welche Textannotationswerkzeuge berichten Inter-Annotator-Übereinstimmung?

Potato und INCEpTION in ihren kostenlosen Versionen, und die Lizenz von Prodigy enthält seine metric.iaa-Rezepte. Label Studio behält Übereinstimmungsmaße den kostenpflichtigen Tarifen vor, doccano hat keine. Prüfen Sie bei Span-Aufgaben, ob das Maß Grenzen und Zufall berücksichtigt. Krippendorffs Unitizing-α und γ tun beides, ebenso α über Labels pro Zeichen, das Potato neben einem vereinfachten γ ausgibt. Der paarweise F1 korrigiert nicht für Zufall.

Wird brat noch gepflegt?

Nein. Die letzte Version war v1.3 im November 2012, und der Standalone-Server startet auf Python 3.13 nicht ohne Zwischenlösung. Ab Version 2.9 importiert Potato brat-Korpora und übernimmt vorhandene Entitäten als Vorannotationen.

Kann ich Koreferenz mit einem kostenlosen Werkzeug annotieren?

Ja. INCEpTION hat Kettenebenen für Koreferenz, und Potato hat ein Schema coreference, das Erwähnungen zu Ketten gruppiert. doccano unterstützt keine Koreferenz.

Weiterführende Lektüre

• KI-Annotationswerkzeuge im Vergleich, alle Datentypen auf einer Seite
• Audioannotationswerkzeuge im Vergleich
• Bildannotationswerkzeuge im Vergleich
• Videoannotationswerkzeuge im Vergleich
• Werkzeuge zur Evaluation von KI-Agenten im Vergleich
• Werkzeuge zur Evaluation von Weltmodellen und Roboterepisoden im Vergleich
• Eine Crowdsourcing-Studie durchführen
• Span-Annotation
• Named-Entity-Recognition