Strumenti di annotazione del testo a confronto: NLP open source e a pagamento

Uno strumento di annotazione del testo mostra i documenti agli annotatori e registra ciò che segnano: un'etichetta per l'intero testo, span evidenziati come le entità nominate e collegamenti tra span. Potato, INCEpTION, doccano e la Community Edition di Label Studio si possono ospitare gratis, e tutti gestiscono il riconoscimento di entità nominate e le relazioni. Gli strumenti si distinguono soprattutto quando un progetto ha molti annotatori. Potato li recluta su Prolific o in un subject pool SONA, li forma e li seleziona prima del compito vero, e riporta un accordo sugli span corretto per il caso su tutti loro, senza piani a pagamento. INCEpTION è avanti nel collegamento a basi di conoscenza, e Prodigy nell'addestrare un modello spaCy mentre si annota. brat e Argilla non ricevono più nuove funzionalità.

La maggior parte dei compiti sul testo ha una di tre forme. La classificazione dei testi dà un'etichetta all'intero documento. Il riconoscimento di entità nominate e gli altri compiti a span segnano porzioni di testo. L'estrazione di relazioni e la risoluzione della coreferenza collegano gli span tra loro. Tutti gli strumenti di questa pagina gestiscono gli span, ed è nei collegamenti che si differenziano di più.

Questa pagina tratta solo il testo. Strumenti di annotazione con IA a confronto copre tutti i tipi di dati in una sola pagina.

Quali strumenti di annotazione del testo conviene confrontare?

Funzionalità a confronto

Sull'annotazione in sé, i cinque strumenti mantenuti si equivalgono:

Non si equivalgono quando si tratta di condurre uno studio con molti annotatori:

Un trattino significa che a settembre 2026 non abbiamo trovato nulla al riguardo nella documentazione, nella pagina dei prezzi o nel repository dello strumento. Se una cella è sbagliata, diccelo.

Dove Potato è avanti per il testo

Lo studio attorno alle etichette. Molta annotazione del testo è ricerca con lavoratori delle piattaforme di crowdsourcing: sentiment, posizione, linguaggio offensivo, qualità dell'output dei modelli. I partecipanti arrivano da Prolific o SONA e se ne vanno con un codice di completamento o con un credito. Prima del compito vero danno il consenso, rispondono a domande di selezione o demografiche e si esercitano su item con feedback finché non superano la prova. Poi item di riferimento e controlli di attenzione si mescolano a quelli veri. Potato imposta tutto questo dalla sua configurazione YAML, e la sua integrazione con Prolific riassegna gli item abbandonati dai partecipanti e può mettere in pausa lo studio quando il server è sotto carico. Gli altri strumenti di questa pagina danno per scontato che gli annotatori facciano già parte del tuo team. Vedi Condurre uno studio in crowdsourcing, le fasi di addestramento e Gold standard e controlli di attenzione.

Un accordo sugli span da poter riportare. L'F1 a coppie che calcola Prodigy confronta due annotatori alla volta e non corregge per il caso. L'α sulle etichette per carattere e la γ di Potato valutano dove ogni span inizia e finisce oltre alla sua etichetta, correggono per il caso e considerano tutti gli annotatori insieme. INCEpTION offre l'α di unitizzazione di Krippendorff vero e proprio, come matrice di coppie di annotatori.

Chi ha scritto la risposta. Se una risposta libera è stata incollata invece che digitata, l'annotatore potrebbe non averla scritta. La registrazione delle battute di Potato annota come è stata prodotta ogni risposta, e le segnalazioni sul processo di scrittura evidenziano le risposte arrivate per lo più incollate, con soglie che puoi leggere e modificare.

Accordo sulle etichette di testo

Due annotatori che segnano la stessa entità concordano di rado sui suoi confini esatti, e una metrica che confronta le etichette token per token conta ogni differenza di confine come un disaccordo sull'etichetta. Il modo in cui uno strumento misura l'accordo sugli span conta quanto il fatto che lo riporti.

• Potato riporta la κ a livello di token sui tag BIO, la F1 degli span con corrispondenza esatta e parziale, l'α di Krippendorff sulle etichette per carattere, e una γ semplificata di Mathet et al. (2015). Le ultime due valutano dove uno span inizia e finisce, oltre a come è stato etichettato. Vedi misurare l'accordo sugli span.
• INCEpTION calcola la κ di Cohen, la κ di Fleiss e l'α di Krippendorff, inclusa la forma di unitizzazione, mostrati come matrice di coppie di annotatori, e ha un'interfaccia di curatela per risolvere i disaccordi.
• Prodigy riporta, con la ricetta metric.iaa.doc, la percentuale di accordo, l'α di Krippendorff e l'AC2 di Gwet per le etichette di documento, e con metric.iaa.span l'F1 a coppie per gli span. La sua ricetta review gestisce l'aggiudicazione.
• Label Studio riserva l'accordo ai piani a pagamento. Le metriche elencate per la sua edizione Enterprise sono corrispondenza esatta, differenza numerica, IoU e sovrapposizione degli span.
• doccano non ha metriche di accordo.

Per il caso generale, vedi L'accordo tra annotatori spiegato.

Gli strumenti nel dettaglio

INCEpTION

INCEpTION, della TU Darmstadt, è il successore di WebAnno ed è il confronto più vicino per il lavoro linguistico. Ha livelli di relazione, livelli a catena per la coreferenza, annotazione a livello di documento, e tratti di concetto che collegano un'annotazione a una voce di una base di conoscenza come Wikidata o DBpedia. Sul collegamento alle basi di conoscenza è più avanti di Potato. I suoi recommender suggeriscono annotazioni, con apprendimento attivo integrato. È un'applicazione Java e richiede più lavoro per il deploy rispetto agli altri strumenti di questa pagina. Il sistema è descritto in Eckart de Castilho et al. (EMNLP 2024).

Prodigy

Prodigy, di Explosion, è costruito intorno all'annotazione con un modello nel ciclo e si integra con spaCy più strettamente di qualsiasi altro strumento qui. Copre classificazione, span, relazioni con la ricetta rel.manual e coreferenza con coref.manual, e raggiunge gli LLM tramite spacy-llm. I compiti si definiscono in ricette Python. È l'unico strumento a pagamento di questa pagina.

Label Studio

Il supporto al testo di Label Studio è una parte di uno strumento che gestisce anche immagini, audio, video e serie temporali. Il suo tag Relations collega regioni etichettate. La Community Edition è gratuita e open source. Accordo, revisione rispetto ai dati di riferimento e dashboard di qualità sono nei piani a pagamento, a partire da Starter a 99 $ al mese.

doccano

doccano è il più rapido da configurare per il testo. I suoi tipi di progetto sono classificazione di documenti, etichettatura di sequenze, sequence-to-sequence, riconoscimento di intenti con riempimento di slot, e speech-to-text. I progetti di etichettatura di sequenze possono ammettere span sovrapposti e relazioni. Non ha annotazione di coreferenza o di eventi, né metriche di accordo.

brat

Molti corpora di NLP sono stati costruiti in brat, e il suo formato standoff copre entità, eventi n-ari, relazioni binarie, insiemi di equivalenza, attributi e normalizzazioni. L'ultima versione è la v1.3 di novembre 2012, e l'ultimo commit su master risale a ottobre 2021. Il suo server autonomo importa il modulo cgi di Python, rimosso in Python 3.13, quindi non si avvia su un Python recente senza un adattamento. Leggere un corpus brat vale ancora la pena. Avviare un nuovo progetto in brat è più difficile da giustificare.

Argilla

Argilla si concentra sui dati di feedback e di preferenza per i modelli linguistici e si integra con Hugging Face Datasets. Supporta la classificazione dei testi, la classificazione dei token e la valutazione del testo generato. Il suo repository ora dice che gli autori originali sono passati ad altri progetti e che il progetto riceverà correzioni di bug e patch, ma nessuna nuova funzionalità.

Sistemi di ricerca

Diversi sistemi di annotazione sono stati pubblicati come dimostrazioni di sistemi all'ACL. Thresh configura in YAML compiti di valutazione fine del testo, per riassunto, semplificazione e traduzione automatica. GATE Teamware 2 gestisce la classificazione di documenti con formazione degli annotatori e controllo di qualità.

Verificato su documentazione, pagina dei prezzi e repository di ciascun progetto ad agosto e settembre 2026.

Spostare un corpus da uno strumento all'altro

Dalla versione 2.9, Potato importa lo standoff di brat, il JSONL di doccano, i file db-out di Prodigy e il CoNLL, così un progetto iniziato in uno di questi può proseguire in Potato. Le etichette esistenti arrivano come pre-annotazioni. Le relazioni e gli eventi di brat compaiono negli avvisi dell'importazione e non vengono importati. Vedi Importare un progetto.

Nella direzione opposta, Potato esporta CoNLL-2003, CoNLL-U, dataset Hugging Face, JSONL, CSV e Parquet. Vedi Esportare le annotazioni per il ML.

Un compito di entità e relazioni in Potato

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

span_link traccia collegamenti tipizzati tra gli span dello schema entities, e allowed_source_labels impedisce a un annotatore di collegare i tipi di entità sbagliati. Estrazione di relazioni ed eventi tratta eventi e relazioni n-arie, e Risoluzione della coreferenza tratta le catene.

Cosa non fa Potato con il testo

• Il suo collegamento alle basi di conoscenza è più semplice di quello di INCEpTION.
• Non aggiorna un modello spaCy mentre gli annotatori lavorano, come possono fare le ricette di Prodigy.
• Non ha un esportatore spaCy. Converti da CoNLL o JSONL.
• L'importazione da brat salta relazioni ed eventi.

Domande frequenti

Quale strumento di annotazione del testo dovrei usare?

Per un singolo progetto di NER o di classificazione, doccano è quello che richiede meno lavoro. Per l'annotazione linguistica che collega le entità a una base di conoscenza, INCEpTION è il più completo. Per uno studio con più annotatori per elemento, crowdworker e un valore di accordo da riportare, Potato include tutto questo senza piano a pagamento.

Quale strumento di annotazione del testo è adatto a uno studio accademico?

Se lo studio recluta annotatori, li seleziona e li forma, e deve riportare l'accordo, Potato copre ciascuno di questi passaggi nella versione gratuita. INCEpTION è più adatto quando l'annotazione stessa è una struttura linguistica complessa, come il collegamento di entità a una base di conoscenza. Prodigy si addice a un piccolo team che vuole addestrare un modello spaCy mentre annota.

Quali strumenti di annotazione del testo funzionano con Prolific o Amazon Mechanical Turk?

Potato integra Prolific, insieme a SONA e ad altri panel. Mechanical Turk ha chiuso il 30 settembre 2026, quindi oggi nessuno strumento può reclutare lì. Potato legge l'ID del partecipante dall'URL, mostra un codice di completamento o reindirizza il partecipante alla fine del compito, e può gestire uno studio su Prolific tramite l'API di Prolific. INCEpTION ha link di invito sperimentali per annotatori ospiti, che si possono condividere con i lavoratori delle piattaforme, ma non documenta la gestione dei codici di completamento. Prodigy, Label Studio e doccano non documentano alcuna integrazione di crowdsourcing.

Esiste un'alternativa open source a Prodigy?

Potato, INCEpTION e doccano sono gratuiti e open source. Potato si configura in YAML dove Prodigy usa ricette Python, e importa i file db-out di Prodigy, così le annotazioni già raccolte in Prodigy vengono mantenute.

Quali strumenti di annotazione del testo riportano l'accordo tra annotatori?

Potato e INCEpTION nelle versioni gratuite, e la licenza di Prodigy include le sue ricette metric.iaa. Label Studio riserva l'accordo ai piani a pagamento, e doccano non ne ha. Per i compiti sugli span, controlla se la misura tiene conto dei confini e del caso. L'α di unitizzazione di Krippendorff e la γ fanno entrambe le cose, e così l'α sulle etichette per carattere, che è ciò che Potato riporta accanto a una γ semplificata. L'F1 a coppie non corregge per il caso.

brat è ancora mantenuto?

No. La sua ultima versione è stata la v1.3, a novembre 2012, e il suo server autonomo non si avvia su Python 3.13 senza un adattamento. Dalla versione 2.9, Potato importa i corpora brat e conserva le entità esistenti come pre-annotazioni.

Posso annotare la coreferenza con uno strumento gratuito?

Sì. INCEpTION ha livelli a catena per la coreferenza, e Potato ha uno schema coreference che raggruppa le menzioni in catene. doccano non supporta la coreferenza.

Approfondimenti

• Strumenti di annotazione con IA a confronto, tutti i tipi di dati in una pagina
• Strumenti di annotazione audio a confronto
• Strumenti di annotazione delle immagini a confronto
• Strumenti di annotazione video a confronto
• Strumenti di valutazione degli agenti IA a confronto
• Strumenti di valutazione di world model ed episodi robotici a confronto
• Condurre uno studio in crowdsourcing
• Annotazione a span
• Riconoscimento di entità nominate