Ferramentas de anotação de texto comparadas: PLN de código aberto e pagas

Uma ferramenta de anotação de texto mostra documentos aos anotadores e regista o que eles marcam: um rótulo para o texto inteiro, spans destacados como entidades nomeadas, e ligações entre spans. O Potato, o INCEpTION, o doccano e a Community Edition do Label Studio podem ser alojados gratuitamente, e todos tratam reconhecimento de entidades nomeadas e relações. As ferramentas diferem mais quando um projeto tem muitos anotadores. O Potato recruta-os no Prolific e no MTurk, forma-os e faz a triagem antes da tarefa real, e reporta a concordância em spans corrigida para o acaso entre todos eles, sem plano pago. O INCEpTION está à frente na ligação a bases de conhecimento, e o Prodigy no treino de um modelo spaCy enquanto se anota. O brat e o Argilla já não recebem novas funcionalidades.

A maioria das tarefas de texto tem uma de três formas. A classificação de textos dá um rótulo ao documento inteiro. O reconhecimento de entidades nomeadas e outras tarefas de trechos marcam partes do texto. A extração de relações e a resolução de correferência ligam trechos entre si. Todas as ferramentas desta página tratam trechos, e é nas ligações que mais diferem.

Esta página trata apenas de texto. Ferramentas de anotação com IA, comparadas cobre todos os tipos de dados numa só página.

Que ferramentas de anotação de texto vale a pena comparar?

Funcionalidades lado a lado

Na anotação em si, as cinco ferramentas mantidas estão próximas:

Não estão próximas quando se trata de conduzir um estudo com muitos anotadores:

Um travessão significa que não encontrámos nada sobre isso na documentação, na página de preços ou no repositório da ferramenta em setembro de 2026. Se uma célula estiver errada, diga-nos.

Onde o Potato está à frente no texto

O estudo à volta dos rótulos. Muita anotação de texto é investigação com trabalhadores de crowdsourcing: sentimento, posicionamento, linguagem ofensiva, a qualidade das respostas de modelos. Os participantes chegam do Prolific ou do MTurk e saem com um código de conclusão. Antes da tarefa real, dão consentimento, respondem a perguntas de triagem ou demográficas e praticam com itens com feedback até passarem. Depois, itens de referência e verificações de atenção correm ao lado dos reais. O Potato configura tudo isto a partir do seu YAML, e a integração com o Prolific reatribui itens que os participantes abandonaram e pode pausar o estudo quando o servidor está sobrecarregado. As outras ferramentas desta página partem do princípio de que os anotadores já fazem parte da sua equipa. Veja Conduzindo um Estudo no Prolific e no MTurk, as fases de treino e Padrões-ouro e checagens de atenção.

Concordância em spans que se pode reportar. O F1 por pares que o Prodigy calcula compara dois anotadores de cada vez e não corrige para o acaso. O α sobre rótulos por carácter e o γ do Potato avaliam onde cada span começa e acaba, além do rótulo, corrigem para o acaso e consideram todos os anotadores de uma vez. O INCEpTION oferece o próprio α de unitização de Krippendorff, como uma matriz de pares de anotadores.

Quem escreveu a resposta. Quando uma resposta de texto livre foi colada em vez de escrita, o anotador pode não a ter escrito. O registo de teclas do Potato guarda como cada resposta foi produzida, e as sinalizações do processo de escrita marcam as respostas que chegaram sobretudo por colagem, com limiares que pode ler e alterar.

Concordância em rótulos de texto

Dois anotadores que marcam a mesma entidade raramente concordam nos seus limites exatos, e uma métrica que compara rótulos token a token conta cada diferença de limite como um desacordo sobre o rótulo. A forma como uma ferramenta pontua a concordância em trechos importa tanto como o facto de a reportar.

• Potato reporta κ ao nível do token sobre etiquetas BIO, F1 de trechos com correspondência exata e parcial, o α de Krippendorff sobre rótulos por carácter, e um γ simplificado de Mathet et al. (2015). Os dois últimos pontuam onde um trecho começa e acaba, além do rótulo que recebeu. Veja medir a concordância em trechos.
• INCEpTION calcula o κ de Cohen, o κ de Fleiss e o α de Krippendorff, incluindo a forma de unitização, apresentados como uma matriz de pares de anotadores, e tem uma interface de curadoria para resolver desacordos.
• Prodigy reporta, com a receita metric.iaa.doc, a percentagem de concordância, o α de Krippendorff e o AC2 de Gwet para rótulos de documento, e com metric.iaa.span, o F1 por pares para spans. A sua receita review trata da adjudicação.
• Label Studio reserva a concordância para os planos pagos. As métricas listadas para a sua edição Enterprise são correspondência exata, diferença numérica, IoU e sobreposição de trechos.
• doccano não tem métricas de concordância.

Para o caso geral, veja Concordância entre anotadores explicada.

As ferramentas em pormenor

INCEpTION

O INCEpTION, da TU Darmstadt, sucedeu ao WebAnno e é a comparação mais próxima para trabalho linguístico. Tem camadas de relações, camadas de cadeias para correferência, anotação ao nível do documento, e atributos de conceito que ligam uma anotação a uma entrada de uma base de conhecimento como a Wikidata ou a DBpedia. Na ligação a bases de conhecimento está à frente do Potato. Os seus recomendadores sugerem anotações, com aprendizagem ativa integrada. É uma aplicação Java e dá mais trabalho a implementar do que as outras ferramentas desta página. O sistema é descrito em Eckart de Castilho et al. (EMNLP 2024).

Prodigy

O Prodigy, da Explosion, é construído em torno da anotação com um modelo no ciclo e integra-se com o spaCy mais de perto do que qualquer outra ferramenta aqui. Cobre classificação, trechos, relações com a receita rel.manual e correferência com coref.manual, e chega aos LLM através do spacy-llm. As tarefas definem-se em receitas Python. É a única ferramenta paga desta página.

Label Studio

O suporte a texto do Label Studio é uma parte de uma ferramenta que também trata imagens, áudio, vídeo e séries temporais. A sua tag Relations liga regiões rotuladas. A Community Edition é gratuita e de código aberto. A concordância, a revisão face a dados de referência e os painéis de qualidade estão nos planos pagos, a começar pelo Starter a 99 $ por mês.

doccano

O doccano é o mais rápido de configurar para texto. Os seus tipos de projeto são classificação de documentos, rotulagem de sequências, sequência-para-sequência, deteção de intenções com preenchimento de slots, e fala para texto. Os projetos de rotulagem de sequências podem permitir trechos sobrepostos e relações. Não tem anotação de correferência nem de eventos, nem métricas de concordância.

brat

Muitos corpora de PLN foram construídos no brat, e o seu formato standoff cobre entidades, eventos n-ários, relações binárias, conjuntos de equivalência, atributos e normalizações. A última versão é a v1.3, de novembro de 2012, e o último commit no master é de outubro de 2021. O seu servidor autónomo importa o módulo cgi do Python, que foi removido no Python 3.13, por isso não arranca num Python atual sem uma adaptação. Ler um corpus do brat continua a valer a pena. Começar um projeto novo no brat é mais difícil de justificar.

Argilla

O Argilla centra-se em dados de feedback e de preferência para modelos de linguagem e integra-se com o Hugging Face Datasets. Suporta classificação de textos, classificação de tokens e avaliação de texto gerado. O seu repositório diz agora que os autores originais passaram a outros projetos e que o projeto terá correções de erros e patches, mas não novas funcionalidades.

Sistemas de investigação

Vários sistemas de anotação foram publicados como demonstrações de sistemas na ACL. O Thresh configura em YAML tarefas de avaliação fina de texto, para sumarização, simplificação e tradução automática. O GATE Teamware 2 trata da classificação de documentos com formação de anotadores e controlo de qualidade.

Verificado na documentação, na página de preços e no repositório de cada projeto em agosto e setembro de 2026.

Mudar um corpus de ferramenta

Desde a versão 2.9, o Potato importa standoff do brat, JSONL do doccano, ficheiros db-out do Prodigy e CoNLL, por isso um projeto começado em qualquer um deles pode continuar no Potato. Os rótulos existentes chegam como pré-anotações. As relações e os eventos do brat aparecem nos avisos da importação e não são importados. Veja Importar um projeto.

No sentido inverso, o Potato exporta CoNLL-2003, CoNLL-U, datasets do Hugging Face, JSONL, CSV e Parquet. Veja Exportar anotações para ML.

Uma tarefa de entidades e relações no Potato

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

O span_link traça ligações tipadas entre trechos do esquema entities, e o allowed_source_labels impede que um anotador ligue os tipos de entidade errados. Extração de relações e eventos trata eventos e relações n-árias, e Resolução de correferência trata cadeias.

O que o Potato não faz com texto

• A sua ligação a bases de conhecimento é mais simples do que a do INCEpTION.
• Não atualiza um modelo spaCy enquanto os anotadores trabalham, como as receitas do Prodigy podem fazer.
• Não tem exportador de spaCy. Converta a partir de CoNLL ou JSONL.
• A importação a partir do brat ignora relações e eventos.

Perguntas frequentes

Que ferramenta de anotação de texto devo usar?

Para um único projeto de NER ou de classificação, o doccano é o que dá menos trabalho. Para anotação linguística que liga entidades a uma base de conhecimento, o INCEpTION é o mais completo. Para um estudo com vários anotadores por item, crowdworkers e um valor de concordância a reportar, o Potato inclui tudo isso sem plano pago.

Que ferramenta de anotação de texto serve para um estudo académico?

Se o estudo recruta anotadores, faz a triagem e os forma, e tem de reportar a concordância, o Potato cobre cada um desses passos na versão gratuita. O INCEpTION encaixa melhor quando a própria anotação é estrutura linguística complexa, como ligar entidades a uma base de conhecimento. O Prodigy serve uma equipa pequena que quer treinar um modelo spaCy enquanto anota.

Que ferramentas de anotação de texto funcionam com o Prolific ou o Amazon Mechanical Turk?

O Potato tem ambos incorporados. Lê o ID do participante a partir do URL, mostra um código de conclusão ou redireciona o participante no fim da tarefa, e pode gerir um estudo do Prolific através da API do Prolific. O INCEpTION tem links de convite experimentais para anotadores convidados, que podem ser partilhados com trabalhadores de crowdsourcing, mas não documenta o tratamento de códigos de conclusão. O Prodigy, o Label Studio e o doccano não documentam nenhuma integração de crowdsourcing.

Existe uma alternativa de código aberto ao Prodigy?

O Potato, o INCEpTION e o doccano são gratuitos e de código aberto. O Potato configura-se em YAML onde o Prodigy usa receitas Python, e importa os ficheiros db-out do Prodigy, por isso as anotações já recolhidas no Prodigy mantêm-se.

Que ferramentas de anotação de texto reportam a concordância entre anotadores?

O Potato e o INCEpTION nas versões gratuitas, e a licença do Prodigy inclui as receitas metric.iaa. O Label Studio reserva a concordância para os planos pagos, e o doccano não tem nenhuma. Em tarefas de spans, verifique se a medida tem em conta os limites e o acaso. O α de unitização de Krippendorff e o γ fazem as duas coisas, tal como o α sobre rótulos por carácter, que é o que o Potato apresenta ao lado de um γ simplificado. O F1 por pares não corrige para o acaso.

O brat ainda é mantido?

Não. A sua última versão foi a v1.3, em novembro de 2012, e o seu servidor autónomo não arranca no Python 3.13 sem uma adaptação. Desde a versão 2.9, o Potato importa corpora do brat e mantém as entidades existentes como pré-anotações.

Posso anotar correferência numa ferramenta gratuita?

Sim. O INCEpTION tem camadas de cadeias para correferência, e o Potato tem um esquema coreference que agrupa menções em cadeias. O doccano não suporta correferência.

Leituras adicionais

• Ferramentas de anotação com IA, comparadas, todos os tipos de dados numa página
• Ferramentas de anotação de áudio comparadas
• Ferramentas de anotação de imagens comparadas
• Ferramentas de anotação de vídeo comparadas
• Ferramentas de avaliação de agentes de IA comparadas
• Ferramentas de avaliação de modelos de mundo e episódios de robôs comparadas
• Conduzindo um Estudo no Prolific e no MTurk
• Anotação de trechos
• Reconhecimento de entidades nomeadas