Textannotationswerkzeuge im Vergleich: quelloffene und kostenpflichtige NLP-Werkzeuge

Ein Textannotationswerkzeug zeigt Annotatoren Dokumente und hält fest, was sie markieren: ein Label für den ganzen Text, hervorgehobene Spans wie Eigennamen und Verknüpfungen zwischen Spans. Potato, INCEpTION, doccano und die Community Edition von Label Studio lassen sich kostenlos selbst hosten, und alle beherrschen Named-Entity-Recognition und Relationen. Sie unterscheiden sich bei Koreferenz, bei der Verknüpfung mit Wissensbasen und darin, ob die Übereinstimmung zwischen Annotatoren ohne kostenpflichtigen Tarif gemessen wird. Prodigy ist die kostenpflichtige Option. brat und Argilla bekommen keine neuen Funktionen mehr.

Die meisten Textaufgaben haben eine von drei Formen. Die Textklassifikation gibt dem ganzen Dokument ein Label. Named-Entity-Recognition und andere Span-Aufgaben markieren Textabschnitte. Relationsextraktion und Koreferenzauflösung verknüpfen Spans miteinander. Jedes Werkzeug auf dieser Seite beherrscht Spans, und beim Verknüpfen unterscheiden sie sich am stärksten.

Diese Seite behandelt nur Text. KI-Annotationswerkzeuge im Vergleich behandelt alle Datentypen auf einer Seite.

Welche Textannotationswerkzeuge lohnen einen Vergleich?

Die Funktionen im direkten Vergleich

Übereinstimmung bei Textlabels

Zwei Annotatoren, die dieselbe Entität markieren, treffen selten genau dieselben Grenzen, und ein Maß, das Labels Token für Token vergleicht, wertet jede Grenzabweichung als Uneinigkeit über das Label. Wie ein Werkzeug die Übereinstimmung über Spans bewertet, zählt deshalb so viel wie die Frage, ob es überhaupt eine berichtet.

• Potato berichtet κ auf Token-Ebene über BIO-Tags, Span-F1 bei exakter und teilweiser Übereinstimmung, Krippendorffs α in der Unitizing-Variante und γ nach Mathet et al. (2015). Die beiden letzten bewerten, wo ein Span beginnt und endet, und nicht nur, wie er benannt wurde. Siehe Übereinstimmung bei Spans messen.
• INCEpTION berechnet Cohens κ, Fleiss' κ und Krippendorffs α und hat eine Kurationsoberfläche, in der Uneinigkeiten aufgelöst werden.
• Prodigy liefert Krippendorffs α und Gwets AC2 sowie ein review-Rezept für die Adjudikation.
• Label Studio behält Übereinstimmungsmaße seinen kostenpflichtigen Tarifen vor. Für die Enterprise-Edition sind exakte Übereinstimmung, numerische Differenz, IoU und Span-Überlappung aufgeführt.
• doccano hat keine Übereinstimmungsmaße.

Den allgemeinen Fall behandelt Inter-Annotator-Übereinstimmung erklärt.

Die Werkzeuge im Einzelnen

INCEpTION

INCEpTION von der TU Darmstadt ist der Nachfolger von WebAnno und für linguistische Arbeit der naheliegendste Vergleich. Es bietet Relationsebenen, Kettenebenen für Koreferenz, Annotation auf Dokumentebene und Konzeptmerkmale, die eine Annotation mit einem Eintrag in einer Wissensbasis wie Wikidata oder DBpedia verknüpfen. Bei der Verknüpfung mit Wissensbasen ist es Potato voraus. Seine Recommender schlagen Annotationen vor, aktives Lernen ist eingebaut. Es ist eine Java-Anwendung und aufwendiger zu betreiben als die übrigen Werkzeuge hier. Beschrieben ist das System in Eckart de Castilho et al. (EMNLP 2024).

Prodigy

Prodigy von Explosion ist um Annotation mit einem Modell in der Schleife herum gebaut und enger mit spaCy verbunden als jedes andere Werkzeug hier. Es deckt Klassifikation, Spans, Relationen über das Rezept rel.manual und Koreferenz über coref.manual ab und bindet LLMs über spacy-llm an. Aufgaben werden in Python-Rezepten definiert. Es ist das einzige kostenpflichtige Werkzeug auf dieser Seite.

Label Studio

Die Textunterstützung von Label Studio ist ein Teil eines Werkzeugs, das auch Bilder, Audio, Video und Zeitreihen verarbeitet. Sein Relations-Tag verknüpft markierte Regionen. Die Community Edition ist kostenlos und quelloffen. Übereinstimmungsmaße, die Prüfung gegen Referenzdaten und die Qualitäts-Dashboards gibt es in den kostenpflichtigen Tarifen, beginnend mit Starter für 99 $ im Monat.

doccano

doccano ist für Text am schnellsten eingerichtet. Seine Projekttypen sind Dokumentklassifikation, Sequenzannotation, Sequence-to-Sequence, Intent-Erkennung mit Slot-Filling und Speech-to-Text. Sequenzannotationsprojekte können überlappende Spans und Relationen zulassen. Koreferenz- und Ereignisannotation gibt es nicht, Übereinstimmungsmaße ebenfalls nicht.

brat

Viele NLP-Korpora wurden in brat erstellt, und sein Standoff-Format umfasst Entitäten, n-äre Ereignisse, binäre Relationen, Äquivalenzmengen, Attribute und Normalisierungen. Die letzte Version ist v1.3 vom November 2012, der letzte Commit auf master stammt vom Oktober 2021. Der Standalone-Server importiert Pythons Modul cgi, das in Python 3.13 entfernt wurde, und startet deshalb auf einem aktuellen Python nicht ohne Zwischenlösung. Ein brat-Korpus zu lesen, lohnt sich weiterhin. Ein neues Projekt in brat zu beginnen, ist schwerer zu rechtfertigen.

Argilla

Argilla konzentriert sich auf Feedback- und Präferenzdaten für Sprachmodelle und ist mit Hugging Face Datasets integriert. Es unterstützt Textklassifikation, Token-Klassifikation und die Bewertung generierter Texte. Im Repository steht inzwischen, dass die ursprünglichen Autoren weitergezogen sind und das Projekt Fehlerbehebungen und Patches erhält, aber keine neuen Funktionen.

Forschungssysteme

Mehrere Annotationssysteme sind als ACL-Systemdemonstrationen erschienen. Thresh konfiguriert feingranulare Textbewertungsaufgaben in YAML, für Zusammenfassung, Vereinfachung und maschinelle Übersetzung. GATE Teamware 2 übernimmt Dokumentklassifikation mit Annotatorenschulung und Qualitätsprüfung.

Geprüft anhand der Dokumentation, der Preisseite und des Repositorys jedes Projekts im August und September 2026.

Ein Korpus zwischen Werkzeugen umziehen

Seit Version 2.9 importiert Potato brat-Standoff, doccano-JSONL, Prodigy-Dateien aus db-out und CoNLL, sodass ein Projekt, das in einem dieser Werkzeuge begonnen wurde, in Potato weiterlaufen kann. Vorhandene Labels kommen als Vorannotationen an. Relationen und Ereignisse aus brat werden in den Warnungen des Imports aufgeführt und nicht importiert. Siehe Ein Projekt importieren.

In die andere Richtung exportiert Potato CoNLL-2003, CoNLL-U, Hugging-Face-Datasets, JSONL, CSV und Parquet. Siehe Annotationen für ML exportieren.

Eine Entitäten- und Relationsaufgabe in Potato

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

span_link zieht typisierte Verbindungen zwischen Spans aus dem Schema entities, und allowed_source_labels verhindert, dass ein Annotator die falschen Arten von Entitäten verknüpft. Relations- und Ereignisextraktion behandelt Ereignisse und n-äre Relationen, Koreferenzauflösung behandelt Ketten.

Was Potato bei Text nicht kann

• Seine Verknüpfung mit Wissensbasen ist einfacher als die von INCEpTION.
• Es aktualisiert kein spaCy-Modell, während Annotatoren arbeiten, wie es die Rezepte von Prodigy können.
• Es hat keinen spaCy-Exporter. Konvertieren Sie aus CoNLL oder JSONL.
• Beim Import aus brat werden Relationen und Ereignisse übersprungen.

Häufige Fragen

Was ist das beste kostenlose Textannotationswerkzeug?

Für ein einzelnes NER- oder Klassifikationsprojekt macht doccano am wenigsten Aufwand. Für linguistische Annotation, die Entitäten mit einer Wissensbasis verknüpft, ist INCEpTION am vollständigsten. Für eine Studie mit mehreren Annotatoren pro Item, Crowdworkern und einem Übereinstimmungswert, der berichtet werden muss, bringt Potato all das ohne kostenpflichtigen Tarif mit.

Gibt es eine quelloffene Alternative zu Prodigy?

Potato, INCEpTION und doccano sind kostenlos und quelloffen. Potato wird in YAML konfiguriert, wo Prodigy Python-Rezepte verwendet, und es importiert die db-out-Dateien von Prodigy, sodass bereits in Prodigy gesammelte Annotationen übernommen werden.

Welche Textannotationswerkzeuge berichten Inter-Annotator-Übereinstimmung?

Potato und INCEpTION in ihren kostenlosen Versionen, Prodigy in seinem kostenpflichtigen Produkt. Label Studio behält Übereinstimmungsmaße den kostenpflichtigen Tarifen vor, doccano hat keine. Prüfen Sie bei Span-Aufgaben, ob das Maß Grenzabweichungen berücksichtigt, wie es Krippendorffs Unitizing-α und γ tun.

Wird brat noch gepflegt?

Nein. Die letzte Version war v1.3 im November 2012, und der Standalone-Server startet auf Python 3.13 nicht ohne Zwischenlösung. Ab Version 2.9 importiert Potato brat-Korpora und übernimmt vorhandene Entitäten als Vorannotationen.

Kann ich Koreferenz mit einem kostenlosen Werkzeug annotieren?

Ja. INCEpTION hat Kettenebenen für Koreferenz, und Potato hat ein Schema coreference, das Erwähnungen zu Ketten gruppiert. doccano unterstützt keine Koreferenz.

Weiterführende Lektüre

• KI-Annotationswerkzeuge im Vergleich, alle Datentypen auf einer Seite
• Audioannotationswerkzeuge im Vergleich
• Bildannotationswerkzeuge im Vergleich
• Videoannotationswerkzeuge im Vergleich
• Werkzeuge zur Evaluation von KI-Agenten im Vergleich
• Werkzeuge zur Evaluation von Weltmodellen und Roboterepisoden im Vergleich
• Span-Annotation
• Named-Entity-Recognition