Ferramentas de anotação de texto comparadas: PLN de código aberto e pagas

Uma ferramenta de anotação de texto mostra documentos aos anotadores e regista o que eles marcam: um rótulo para o texto inteiro, trechos destacados como entidades nomeadas, e ligações entre trechos. Potato, INCEpTION, doccano e a Community Edition do Label Studio podem ser alojados gratuitamente em servidores próprios, e todos tratam reconhecimento de entidades nomeadas e relações. Diferem na correferência, na ligação a bases de conhecimento e em medir ou não a concordância entre anotadores sem um plano pago. O Prodigy é a opção paga. O brat e o Argilla já não acrescentam funcionalidades.

A maioria das tarefas de texto tem uma de três formas. A classificação de textos dá um rótulo ao documento inteiro. O reconhecimento de entidades nomeadas e outras tarefas de trechos marcam partes do texto. A extração de relações e a resolução de correferência ligam trechos entre si. Todas as ferramentas desta página tratam trechos, e é nas ligações que mais diferem.

Esta página trata apenas de texto. Ferramentas de anotação com IA, comparadas cobre todos os tipos de dados numa só página.

Que ferramentas de anotação de texto vale a pena comparar?

Funcionalidades lado a lado

Concordância em rótulos de texto

Dois anotadores que marcam a mesma entidade raramente concordam nos seus limites exatos, e uma métrica que compara rótulos token a token conta cada diferença de limite como um desacordo sobre o rótulo. A forma como uma ferramenta pontua a concordância em trechos importa tanto como o facto de a reportar.

• Potato reporta κ ao nível do token sobre etiquetas BIO, F1 de trechos com correspondência exata e parcial, o α de Krippendorff na sua forma de unitização, e o γ de Mathet et al. (2015). Os dois últimos pontuam onde um trecho começa e acaba, além do rótulo que recebeu. Veja medir a concordância em trechos.
• INCEpTION calcula o κ de Cohen, o κ de Fleiss e o α de Krippendorff, e tem uma interface de curadoria para resolver desacordos.
• Prodigy inclui o α de Krippendorff e o AC2 de Gwet, e uma receita review para adjudicação.
• Label Studio reserva a concordância para os planos pagos. As métricas listadas para a sua edição Enterprise são correspondência exata, diferença numérica, IoU e sobreposição de trechos.
• doccano não tem métricas de concordância.

Para o caso geral, veja Concordância entre anotadores explicada.

As ferramentas em pormenor

INCEpTION

O INCEpTION, da TU Darmstadt, sucedeu ao WebAnno e é a comparação mais próxima para trabalho linguístico. Tem camadas de relações, camadas de cadeias para correferência, anotação ao nível do documento, e atributos de conceito que ligam uma anotação a uma entrada de uma base de conhecimento como a Wikidata ou a DBpedia. Na ligação a bases de conhecimento está à frente do Potato. Os seus recomendadores sugerem anotações, com aprendizagem ativa integrada. É uma aplicação Java e dá mais trabalho a implementar do que as outras ferramentas desta página. O sistema é descrito em Eckart de Castilho et al. (EMNLP 2024).

Prodigy

O Prodigy, da Explosion, é construído em torno da anotação com um modelo no ciclo e integra-se com o spaCy mais de perto do que qualquer outra ferramenta aqui. Cobre classificação, trechos, relações com a receita rel.manual e correferência com coref.manual, e chega aos LLM através do spacy-llm. As tarefas definem-se em receitas Python. É a única ferramenta paga desta página.

Label Studio

O suporte a texto do Label Studio é uma parte de uma ferramenta que também trata imagens, áudio, vídeo e séries temporais. A sua tag Relations liga regiões rotuladas. A Community Edition é gratuita e de código aberto. A concordância, a revisão face a dados de referência e os painéis de qualidade estão nos planos pagos, a começar pelo Starter a 99 $ por mês.

doccano

O doccano é o mais rápido de configurar para texto. Os seus tipos de projeto são classificação de documentos, rotulagem de sequências, sequência-para-sequência, deteção de intenções com preenchimento de slots, e fala para texto. Os projetos de rotulagem de sequências podem permitir trechos sobrepostos e relações. Não tem anotação de correferência nem de eventos, nem métricas de concordância.

brat

Muitos corpora de PLN foram construídos no brat, e o seu formato standoff cobre entidades, eventos n-ários, relações binárias, conjuntos de equivalência, atributos e normalizações. A última versão é a v1.3, de novembro de 2012, e o último commit no master é de outubro de 2021. O seu servidor autónomo importa o módulo cgi do Python, que foi removido no Python 3.13, por isso não arranca num Python atual sem uma adaptação. Ler um corpus do brat continua a valer a pena. Começar um projeto novo no brat é mais difícil de justificar.

Argilla

O Argilla centra-se em dados de feedback e de preferência para modelos de linguagem e integra-se com o Hugging Face Datasets. Suporta classificação de textos, classificação de tokens e avaliação de texto gerado. O seu repositório diz agora que os autores originais passaram a outros projetos e que o projeto terá correções de erros e patches, mas não novas funcionalidades.

Sistemas de investigação

Vários sistemas de anotação foram publicados como demonstrações de sistemas na ACL. O Thresh configura em YAML tarefas de avaliação fina de texto, para sumarização, simplificação e tradução automática. O GATE Teamware 2 trata da classificação de documentos com formação de anotadores e controlo de qualidade.

Verificado na documentação, na página de preços e no repositório de cada projeto em agosto e setembro de 2026.

Mudar um corpus de ferramenta

Desde a versão 2.9, o Potato importa standoff do brat, JSONL do doccano, ficheiros db-out do Prodigy e CoNLL, por isso um projeto começado em qualquer um deles pode continuar no Potato. Os rótulos existentes chegam como pré-anotações. As relações e os eventos do brat aparecem nos avisos da importação e não são importados. Veja Importar um projeto.

No sentido inverso, o Potato exporta CoNLL-2003, CoNLL-U, datasets do Hugging Face, JSONL, CSV e Parquet. Veja Exportar anotações para ML.

Uma tarefa de entidades e relações no Potato

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

O span_link traça ligações tipadas entre trechos do esquema entities, e o allowed_source_labels impede que um anotador ligue os tipos de entidade errados. Extração de relações e eventos trata eventos e relações n-árias, e Resolução de correferência trata cadeias.

O que o Potato não faz com texto

• A sua ligação a bases de conhecimento é mais simples do que a do INCEpTION.
• Não atualiza um modelo spaCy enquanto os anotadores trabalham, como as receitas do Prodigy podem fazer.
• Não tem exportador de spaCy. Converta a partir de CoNLL ou JSONL.
• A importação a partir do brat ignora relações e eventos.

Perguntas frequentes

Qual é a melhor ferramenta gratuita de anotação de texto?

Para um único projeto de NER ou de classificação, o doccano é o que dá menos trabalho. Para anotação linguística que liga entidades a uma base de conhecimento, o INCEpTION é o mais completo. Para um estudo com vários anotadores por item, crowdworkers e um valor de concordância a reportar, o Potato inclui tudo isso sem plano pago.

Existe uma alternativa de código aberto ao Prodigy?

O Potato, o INCEpTION e o doccano são gratuitos e de código aberto. O Potato configura-se em YAML onde o Prodigy usa receitas Python, e importa os ficheiros db-out do Prodigy, por isso as anotações já recolhidas no Prodigy mantêm-se.

Que ferramentas de anotação de texto reportam a concordância entre anotadores?

O Potato e o INCEpTION fazem-no nas versões gratuitas, e o Prodigy no seu produto pago. O Label Studio reserva a concordância para os planos pagos, e o doccano não tem nenhuma. Em tarefas de trechos, verifique se a métrica tem em conta os desacordos de limites, como fazem o α de unitização de Krippendorff e o γ.

O brat ainda é mantido?

Não. A sua última versão foi a v1.3, em novembro de 2012, e o seu servidor autónomo não arranca no Python 3.13 sem uma adaptação. Desde a versão 2.9, o Potato importa corpora do brat e mantém as entidades existentes como pré-anotações.

Posso anotar correferência numa ferramenta gratuita?

Sim. O INCEpTION tem camadas de cadeias para correferência, e o Potato tem um esquema coreference que agrupa menções em cadeias. O doccano não suporta correferência.

Leituras adicionais

• Ferramentas de anotação com IA, comparadas, todos os tipos de dados numa página
• Ferramentas de anotação de áudio comparadas
• Ferramentas de anotação de imagens comparadas
• Ferramentas de anotação de vídeo comparadas
• Ferramentas de avaliação de agentes de IA comparadas
• Ferramentas de avaliação de modelos de mundo e episódios de robôs comparadas
• Anotação de trechos
• Reconhecimento de entidades nomeadas