Rotulagem automática com IA comparada: Label Studio, CVAT, Labelbox, Prodigy, Argilla e Potato

As seis ferramentas comparadas aqui conseguem importar ou gerar rótulos de modelos e enviá-los para revisão por pessoas, então esta comparação se concentra no que cada ferramenta mede sobre os rótulos que mantém. Na documentação que lemos em outubro de 2026, as ferramentas relatam acurácia, precisão, revocação ou concordância contra o ground truth ou entre anotadores como valores pontuais, e nenhuma delas descreve um intervalo ou um limite de erro para a qualidade dos rótulos de máquina.

Rotulagem automática significa aqui qualquer recurso que coloca o rótulo de um modelo em um item antes do rótulo de uma pessoa ou no lugar dele, seja o modelo um detector, um classificador ou um LLM instruído com a tarefa. Todas as ferramentas desta comparação têm alguma versão disso, e elas diferem em três perguntas que vale a pena fazer antes de escolher uma:

1. Como os rótulos de máquina entram em um projeto: importados como predições, gerados por um modelo conectado ou produzidos por um prompt de LLM dentro da ferramenta.
2. Como uma pessoa os revisa, e se a pessoa vê a resposta do modelo enquanto rotula.
3. O que a ferramenta relata sobre a frequência com que os rótulos de máquina estão errados, contra qual referência e com qual incerteza.

Cada seção abaixo se baseia na documentação da própria ferramenta em outubro de 2026, com link onde ela é citada. Onde não encontramos algo na documentação, dizemos isso, já que um recurso pode existir sem estar documentado.

Label Studio

O Label Studio conecta modelos por meio de um backend de ML, um SDK que empacota seu modelo como servidor web, e importa predições sob uma chave predictions com um model_version e um score. As predições importadas não podem ser modificadas, e o score se aplica à predição inteira. As edições Enterprise e Starter Cloud acrescentam o Prompts, que gera predições a partir de prompts de LLM e as pontua, e a página de ML descreve um recurso do Enterprise para "rotulagem automática assistida por LLM e avaliação de modelos".

A revisão é um fluxo de trabalho do Enterprise. O guia de qualidade afirma que "o fluxo de revisão de anotações só está disponível no Label Studio Enterprise Edition", com as ações aceitar, rejeitar e "corrigir e aceitar" e uma opção para ordenar as tarefas pela confiança do modelo. As configurações de amostragem para revisão são aplicadas como taxas probabilísticas, e a amostragem por incerteza envia primeiro às pessoas as predições menos confiantes.

Quanto à qualidade, o Label Studio Enterprise compara anotações e predições de modelos com o ground truth "para calcular um escore de acurácia entre 0 e 1", e sua matriz de concordância pode incluir versões de modelos. O Prompts relata a acurácia geral e o F1 contra o ground truth, o número de tarefas avaliadas e o custo de inferência, cada um como escore pontual. Sua visão geral do Prompts acrescenta que "quanto mais dados você tiver para a avaliação do prompt, mais confiança pode ter nos resultados", sem declarar um intervalo.

CVAT

A anotação automática do CVAT pré-anota os dados com um detector ou um modelo de reidentificação, com um limiar de confiança opcional. Os modelos disponíveis dependem da edição. A tabela de modelos de IA lista funções Nuclio para a edição Community, e modelos de terceiros do Hugging Face e do Roboflow e funções nativas de agente de IA para o CVAT Online e o Enterprise.

Para a revisão humana, o CVAT tem um modo de revisão para relatar problemas e uma etapa de validação, e o consenso funde o trabalho de vários anotadores em um único resultado com um escore de concordância de 0 a 1. O controle de qualidade com ground truth e honeypots do CVAT, marcado para o CVAT Online e o Enterprise, compara jobs de anotação com um job de ground truth e relata acurácia, precisão e revocação. A documentação descreve o método como estatístico, que estima a qualidade do conjunto de dados inteiro a partir de uma pequena parte, e diz que "5-15% dos dados normalmente bastam". O relatório de qualidade compara todos os jobs da tarefa com o job de ground truth, então só pontua a saída da anotação automática como parte do que esses jobs contêm, e não encontramos um relatório que separe as anotações de máquina das humanas.

Labelbox

O Labelbox importa pré-rótulos, que descreve como "anotações sugeridas importadas programaticamente para um projeto do Labelbox" para as pessoas revisarem. Seu recurso Foundry gera rótulos com um modelo, com um limiar de confiança "que diz ao modelo o quanto ele precisa ter certeza antes de sugerir um rótulo". O Foundry está disponível em todos os planos, exceto nas assinaturas Educational.

O guia sobre como usar as predições do Foundry sugere duas formas de encaminhá-las às pessoas. Uma filtra pela confiança, por exemplo mandando para revisão tudo o que estiver abaixo de 0,75. A outra envia "uma amostra aleatória de predições para revisão", o que "ajuda você a identificar problemas sistêmicos e calcular métricas gerais de acurácia". As métricas de modelo do Labelbox calculam precisão, revocação, F1, IoU e uma matriz de confusão a partir das predições e do ground truth, em limiares de 0 a 1. Sua página de descontinuações diz que o recurso Model experiments deixou de estar disponível em 15 de julho, sem indicar o ano, enquanto o guia de métricas ainda envia métricas personalizadas para o tipo Experiment, então confira se as métricas de execuções de modelo ainda estão disponíveis no seu workspace.

Prodigy

O Prodigy é construído em torno de um modelo no laço. Receitas como ner.correct mostram as predições de um modelo spaCy para uma pessoa corrigir, ner.teach e textcat.teach preferem os exemplos sobre os quais o modelo tem menos certeza, e ner.model-annotate registra os rótulos de um modelo como se um anotador os tivesse feito. Receitas de LLM construídas sobre o spacy-llm produzem rótulos para o mesmo fluxo de correção, e a documentação avisa que "as anotações do LLM podem estar erradas. Você ainda vai querer estar no laço para fazer a curadoria das anotações."

A receita review resolve conflitos entre anotadores em uma única anotação final, e as receitas metric.iaa.* relatam a porcentagem de concordância, o alfa de Krippendorff e o AC2 de Gwet entre anotadores. A documentação não diz se os rótulos model-annotate de um modelo devem entrar nesses números de concordância. Para comparar prompts ou modelos, ab.llm.tournament faz as pessoas julgarem pares de saídas e classifica as combinações com o sistema de rating Glicko. A página de preços do Prodigy lista uma licença Personal e uma Company com o mesmo instalador, a mesma aplicação web e os mesmos plugins, e só a licença Company acrescenta SSO com OpenID Connect.

Argilla

O Argilla anexa a saída do modelo aos registros como sugestões, cada uma com um score, o agente que a produziu e um tipo model ou human. Na visualização de anotação, as sugestões aparecem como respostas pré-preenchidas marcadas com um ícone de brilho, com os escores de confiança exibidos quando o dataset os inclui. O Argilla 1.x tinha um módulo de métricas que comparava respostas com sugestões e relatava métricas como acurácia, F1 e alfa de Krippendorff. Não encontramos relatórios de concordância nem de métricas de modelo na documentação do Argilla 2.x. Dados sintéticos e feedback de IA, incluindo o julgamento por LLM, ficam na biblioteca separada distilabel.

Potato

O Potato conecta LLMs e modelos de visão por meio de ai_support e, a partir da versão 2.9, registra o que o modelo respondeu primeiro (pre_annotation_seeds) ao lado do que o anotador salvou (final_annotation), então a taxa de aceitação vem dos seus próprios dados. icl_labeling dá a um LLM, como exemplos, as anotações em que seus anotadores já concordam, faz o LLM rotular o resto e devolve uma amostra dos rótulos dele às pessoas para verificação cega, com a acurácia acompanhada por esquema.

Para um modelo ou um juiz LLM, a calibração de juízes do Potato mantém os rótulos do modelo onde os anotadores não podem vê-los, sorteia uma amostra aleatória ou estratificada para rotulagem humana cega e relata a acurácia contra o rótulo ouro humano, o kappa de Cohen para pares humano-modelo, modelo-modelo e humano-humano, o alfa de Krippendorff e a calibração como erro de calibração esperado e Brier score. Comparar o kappa do modelo com o kappa entre os anotadores humanos mostra se o modelo se sai mais ou menos tão bem quanto outro anotador, como explica Concordância de juízes LLM. No Modo Solo, um especialista rotula ao lado de um LLM e entrega a ele o resto do corpus quando a concordância entre os dois passa de um limiar. Como nas outras ferramentas, esses recursos relatam estimativas pontuais, e um intervalo para a taxa de erro precisa ser calculado fora da ferramenta, como descreve a última seção.

As seis ferramentas nas três perguntas

A tabela compara as seis nas três perguntas, a partir da documentação que cada projeto publicou até outubro de 2026:

Como verificar rótulos de máquina em qualquer ferramenta

Seja qual for a ferramenta, o número que você consegue defender sai dos mesmos três passos. Sorteie ao acaso os itens para verificação humana, não da ponta de baixa confiança, porque uma amostra dos itens mais difíceis não diz nada sobre a taxa de erro no resto. Peça às pessoas que rotulem essa amostra sem ver a resposta do modelo, já que uma sugestão visível puxa a resposta para ela. Depois relate a taxa de erro na amostra com um intervalo de confiança, usando um intervalo para proporção binomial como o de Wilson, para que um leitor veja se 200 rótulos verificados sustentam a afirmação que você está fazendo.

O encaminhamento por amostra aleatória do Labelbox, os quadros de ground truth escolhidos ao acaso do CVAT (Online e Enterprise) e a amostra de calibração de juízes do Potato, que também pode ser estratificada, já sorteiam ao acaso. Nas outras ferramentas, exporte um subconjunto aleatório de IDs de itens, atribua-os como uma tarefa separada com as predições escondidas e calcule o intervalo fora da ferramenta.

Leitura adicional

• Ferramentas de anotação comparadas, para a comparação mais ampla de recursos
• Pré-anotação com LLM, sobre o viés de automação quando as pessoas revisam sugestões
• Concordância de juízes LLM, sobre comparar um juiz com a concordância das pessoas entre si