Ferramentas de anotação de texto comparadas: PLN de código aberto e pagas

Uma ferramenta de anotação de texto mostra documentos aos anotadores e registra o que eles marcam: um rótulo para o texto inteiro, trechos destacados, como entidades nomeadas, e vínculos entre trechos. O Potato, o INCEpTION, o doccano e a Community Edition do Label Studio são gratuitos para auto-hospedar, e todos lidam com reconhecimento de entidades nomeadas e relações. As ferramentas diferem mais quando um projeto tem muitos anotadores. O Potato os recruta pelo Prolific ou por um pool de participantes do SONA, treina e faz a triagem deles antes da tarefa real e relata a concordância em trechos corrigida pelo acaso entre todos eles, sem plano pago. O INCEpTION está à frente na vinculação a bases de conhecimento, e o Prodigy no treinamento de um modelo do spaCy enquanto você anota. O brat e o Argilla não estão mais ganhando novos recursos.

A maioria das tarefas de texto assume uma de três formas. A classificação de textos dá um rótulo ao documento inteiro. O reconhecimento de entidades nomeadas e outras tarefas de trechos marcam partes do texto. A extração de relações e a resolução de correferência vinculam trechos entre si. Todas as ferramentas desta página lidam com trechos, e é na vinculação que elas mais diferem.

Esta página trata apenas de texto. Ferramentas de anotação com IA, comparadas cobre todos os tipos de dados em uma única página.

Quais ferramentas de anotação de texto vale a pena comparar?

Recursos lado a lado

Na anotação em si, as cinco ferramentas mantidas estão próximas:

Elas não estão próximas quando se trata de conduzir um estudo com muitos anotadores:

Um travessão significa que não encontramos nada sobre o item na documentação, na página de preços ou no repositório da ferramenta em setembro de 2026. Se alguma célula estiver errada, avise a gente.

Onde o Potato está à frente em texto

O estudo em torno dos rótulos. Boa parte da anotação de texto é pesquisa com trabalhadores de crowdsourcing: sentimento, posicionamento, linguagem ofensiva, a qualidade das saídas de modelos. Os participantes chegam do Prolific ou do SONA e saem com um código de conclusão ou um crédito. Antes da tarefa real, eles dão o consentimento, respondem a perguntas de triagem ou demográficas e fazem itens de prática com feedback até serem aprovados. Depois, itens padrão ouro e verificações de atenção rodam junto com os itens reais. O Potato configura tudo isso a partir da sua configuração em YAML, e a integração com o Prolific reatribui itens que os participantes abandonaram e pode pausar o estudo quando o servidor está sobrecarregado. As outras ferramentas aqui pressupõem que os anotadores já fazem parte da sua equipe. Veja Como conduzir um estudo de crowdsourcing no Prolific e no SONA, fases de treinamento e padrões-ouro e checagens de atenção.

Concordância em trechos que você pode relatar. O F1 por pares, que o Prodigy calcula, compara dois anotadores por vez e não corrige pelo acaso. O α do Potato sobre rótulos por caractere e o seu γ pontuam onde cada trecho começa e termina, além do rótulo, corrigem pelo acaso e consideram todos os anotadores de uma vez. O próprio INCEpTION oferece o α de unitização de Krippendorff, como uma matriz de pares de anotadores.

Quem escreveu a resposta. Quando uma resposta de texto livre foi colada em vez de digitada, o anotador pode não tê-la escrito. O registro de digitação do Potato grava como cada resposta foi produzida, e as sinalizações do processo de escrita marcam respostas que chegaram principalmente por colagem, com limiares que você pode ler e alterar.

Concordância em rótulos de texto

Dois anotadores que marcam a mesma entidade raramente concordam sobre as fronteiras exatas dela, e uma métrica que compara rótulos token a token conta cada diferença de fronteira como uma discordância sobre o rótulo. A forma como uma ferramenta pontua a concordância em trechos importa tanto quanto ela relatar ou não a concordância.

• O Potato relata κ por token sobre tags BIO, F1 de trechos com correspondência exata e parcial, o α de Krippendorff sobre rótulos por caractere e um γ simplificado de Mathet et al. (2015). Os dois últimos pontuam onde um trecho começa e termina, além de como ele foi rotulado. Veja Concordância para trechos e saídas estruturadas.
• O INCEpTION calcula o κ de Cohen, o κ de Fleiss e o α de Krippendorff, incluindo a forma de unitização, exibidos como uma matriz de pares de anotadores, e tem uma interface de curadoria para resolver discordâncias.
• A receita metric.iaa.doc do Prodigy relata a porcentagem de concordância, o α de Krippendorff e o AC2 de Gwet para rótulos de documentos, e metric.iaa.span relata o F1 por pares para trechos. A receita review cuida da adjudicação.
• O Label Studio reserva a concordância para os planos pagos. As métricas listadas para a edição Enterprise são correspondência exata, diferença numérica, IoU e sobreposição de trechos.
• O doccano não tem métricas de concordância.

Para o caso geral, veja Concordância entre anotadores, explicada.

As ferramentas em mais detalhe

INCEpTION

O INCEpTION, da TU Darmstadt, sucedeu o WebAnno e é a comparação mais próxima para trabalho linguístico. Ele tem camadas de relação, camadas de cadeia para correferência, anotação em nível de documento e atributos de conceito que vinculam uma anotação a uma entrada em uma base de conhecimento como o Wikidata ou a DBpedia. Na vinculação a bases de conhecimento, ele está à frente do Potato. Os seus recommenders sugerem anotações, com aprendizado ativo integrado. É uma aplicação Java e dá mais trabalho para implantar do que as outras ferramentas aqui. O sistema é descrito em Eckart de Castilho et al. (EMNLP 2024).

Prodigy

O Prodigy, da Explosion, é construído em torno da anotação com um modelo no ciclo e se integra ao spaCy mais de perto do que qualquer outra ferramenta aqui. Ele cobre classificação, trechos, relações pela receita rel.manual e correferência pela coref.manual, e chega aos LLMs por meio do spacy-llm. As tarefas são definidas em receitas Python. É a única ferramenta paga desta página.

Label Studio

O suporte a texto do Label Studio é uma parte de uma ferramenta que também lida com imagens, áudio, vídeo e séries temporais. A tag Relations vincula regiões rotuladas. A Community Edition é gratuita e de código aberto. A concordância, a revisão por ground truth e os painéis de qualidade ficam nos planos pagos, a partir do Starter, a US$ 99 por mês.

doccano

O doccano é, entre estas, a mais rápida de configurar para texto. Os seus tipos de projeto são classificação de documentos, rotulagem de sequências, sequência para sequência, detecção de intenção e preenchimento de slots, e fala para texto. Projetos de rotulagem de sequências podem permitir trechos sobrepostos e relações. Ele não tem anotação de correferência nem de eventos, nem métricas de concordância.

brat

Muitos corpora de PLN foram construídos no brat, e o seu formato standoff cobre entidades, eventos n-ários, relações binárias, conjuntos de equivalência, atributos e normalizações. A última versão é a v1.3, de novembro de 2012, e o último commit no master é de outubro de 2021. O seu servidor independente importa o módulo cgi do Python, que foi removido no Python 3.13, então ele não inicia em um Python atual sem um shim. Ler um corpus do brat ainda vale a pena. Começar um projeto novo no brat é mais difícil de justificar.

Argilla

O Argilla se concentra em dados de feedback e de preferência para modelos de linguagem e se integra ao Hugging Face Datasets. Ele suporta classificação de textos, classificação de tokens e avaliação de texto gerado. O repositório dele agora diz que os autores originais seguiram para outros projetos e que o projeto vai receber correções de bugs e patches, mas nenhum recurso novo.

Sistemas de pesquisa

Vários sistemas de anotação foram publicados como demonstrações de sistemas na ACL. O Thresh configura em YAML tarefas de avaliação de texto de granularidade fina, para sumarização, simplificação e tradução automática. O GATE Teamware 2 lida com classificação de documentos com treinamento e triagem de qualidade dos anotadores.

Verificado em relação à documentação, à página de preços e ao repositório de cada projeto em agosto e setembro de 2026.

Como mover um corpus entre ferramentas

Desde a versão 2.9, o Potato importa standoff do brat, JSONL do doccano, arquivos db-out do Prodigy e CoNLL, de modo que um projeto iniciado em qualquer um deles pode continuar no Potato. Os rótulos existentes chegam como pré-anotações. As relações e os eventos do brat aparecem nos avisos da importação e não são importados. Veja Como importar um projeto.

No sentido inverso, o Potato exporta CoNLL-2003, CoNLL-U, datasets do Hugging Face, JSONL, CSV e Parquet. Veja Exportando Anotações para Machine Learning.

Uma tarefa de entidades e relações no Potato

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

span_link desenha vínculos tipados entre trechos do esquema entities, e allowed_source_labels impede que um anotador vincule os tipos errados de entidade. Extração de relações e eventos cobre eventos e relações n-árias, e Resolução de Correferência cobre cadeias.

O que o Potato não faz em texto

• A vinculação a bases de conhecimento dele é mais simples que a do INCEpTION.
• Ele não atualiza um modelo do spaCy enquanto os anotadores trabalham, como as receitas do Prodigy conseguem.
• Ele não tem exportador para spaCy. Converta a partir de CoNLL ou JSONL.
• A importação do brat ignora relações e eventos.

Perguntas frequentes

Qual ferramenta de anotação de texto devo usar?

Para um único projeto de NER ou de classificação, o doccano é o que dá menos trabalho para configurar. Para anotação linguística que vincula entidades a uma base de conhecimento, o INCEpTION é o mais completo. Para um estudo com vários anotadores por item, trabalhadores de crowdsourcing e um número de concordância para relatar, o Potato inclui tudo isso sem plano pago.

Qual ferramenta de anotação de texto é indicada para um estudo acadêmico de anotação?

Se o estudo recruta anotadores, faz a triagem e os treina, e precisa relatar a concordância, o Potato cobre cada uma dessas etapas na versão gratuita. O INCEpTION é mais adequado quando a própria anotação é uma estrutura linguística complexa, como vincular entidades a uma base de conhecimento. O Prodigy é indicado para uma equipe pequena que quer treinar um modelo do spaCy enquanto anota.

Quais ferramentas de anotação de texto funcionam com o Prolific ou o Amazon Mechanical Turk?

O Potato tem o Prolific integrado, junto com o SONA e outros painéis. O Mechanical Turk encerrou suas atividades em 30 de setembro de 2026, então nenhuma ferramenta consegue mais recrutar lá. O Potato lê o ID de participante da URL, mostra um código de conclusão ou redireciona o participante de volta quando a tarefa termina e pode gerenciar um estudo do Prolific pela API do Prolific. O INCEpTION tem links de convite experimentais para anotadores convidados, que podem ser compartilhados com trabalhadores de crowdsourcing, mas não documenta nenhum tratamento de códigos de conclusão. O Prodigy, o Label Studio e o doccano não documentam nenhuma integração com crowdsourcing.

Existe uma alternativa de código aberto ao Prodigy?

O Potato, o INCEpTION e o doccano são gratuitos e de código aberto. O Potato é configurado em YAML, enquanto o Prodigy usa receitas Python, e importa os arquivos db-out do Prodigy, de modo que as anotações já coletadas no Prodigy são aproveitadas.

Quais ferramentas de anotação de texto relatam a concordância entre anotadores?

O Potato e o INCEpTION relatam nas versões gratuitas, e a licença do Prodigy inclui as receitas metric.iaa. O Label Studio reserva a concordância para os planos pagos, e o doccano não tem nenhuma. Para tarefas de trechos, verifique se a métrica leva em conta as fronteiras e o acaso. O α de unitização de Krippendorff e o γ fazem as duas coisas, assim como o α sobre rótulos por caractere, que é o que o Potato relata ao lado de um γ simplificado. O F1 por pares não corrige pelo acaso.

O brat ainda é mantido?

Não. A última versão foi a v1.3, em novembro de 2012, e o servidor independente dele não inicia no Python 3.13 sem um shim. A partir da versão 2.9, o Potato importa corpora do brat, com as entidades existentes trazidas como pré-anotações.

Dá para anotar correferência em uma ferramenta gratuita?

Sim. O INCEpTION tem camadas de cadeia para correferência, e o Potato tem um esquema coreference que agrupa menções em cadeias. O doccano não suporta correferência.

Leitura complementar

• Ferramentas de anotação com IA, comparadas, para todos os tipos de dados em uma única página
• Ferramentas de anotação de áudio comparadas: ELAN, Praat, Label Studio e Potato
• Ferramentas de anotação de imagens comparadas: CVAT, Label Studio, Roboflow, V7 e Potato
• Ferramentas de anotação de vídeo comparadas: CVAT, Label Studio, ELAN, BORIS e Potato
• Ferramentas de avaliação de agentes de IA comparadas: LangSmith, Langfuse, Phoenix e Potato
• Ferramentas de avaliação de modelos de mundo e episódios de robôs comparadas
• Como conduzir um estudo de crowdsourcing no Prolific e no SONA
• Anotação de Spans
• Reconhecimento de entidades nomeadas