Pular para o conteúdo

Rotulagem assistida por modelo com um modelo treinado nos seus rótulos

Quando os pré-rótulos de um modelo treinado nas suas próprias anotações poupam tempo, como os pré-rótulos ancoram os anotadores e como um grupo reservado mede o efeito.

A rotulagem assistida por modelo acelera a anotação treinando um modelo com os rótulos que os seus anotadores já deram e mostrando as predições do modelo em novos itens como pré-rótulos a confirmar ou corrigir. Como um pré-rótulo também puxa o anotador para a resposta do modelo, um estudo que usa pré-rótulos deve reservar alguns anotadores e medir o quanto as respostas se deslocam.

Novo na v2.14.0

Um pré-rótulo é um rótulo que um modelo propôs para um item antes que qualquer pessoa o rotulasse. A rotulagem assistida por modelo, também chamada de pré-rotulagem, é um fluxo de trabalho com humano no ciclo em que os anotadores aceitam, editam ou rejeitam esses pré-rótulos, e os rótulos aceitos e corrigidos se tornam o conjunto de dados. Este guia trata do caso em que o modelo é treinado nas próprias anotações do projeto e retreinado conforme chegam mais. O guia de pré-anotação com LLMs e modelos de visão trata de pré-rótulos de um modelo de propósito geral controlado por prompt, e o guia de aprendizado ativo trata da escolha dos próximos itens a rotular.

Como um modelo treinado nos seus rótulos difere da pré-anotação com LLMs

Um LLM ou um modelo de visão pré-treinado pode pré-rotular desde o primeiro item, guiado por um prompt e alguns exemplos. Um modelo treinado nos seus rótulos começa do zero e precisa antes de um conjunto inicial de itens rotulados. O treinador sklearn-text do Potato se recusa a ajustar o modelo com menos de 10 itens na divisão de treinamento, e os classificadores de texto, de tokens e de imagens do Hugging Face se recusam abaixo de 20. Em troca, o modelo treinado aprende os limites entre rótulos que os seus anotadores de fato traçam nos seus itens. Cada execução é pontuada em itens reservados do treinamento, e a pontuação aparece na página Training antes que qualquer anotador veja um pré-rótulo. Um classificador pequeno também roda na sua própria máquina, sem custo por item.

As sugestões de um LLM podem cobrir o início de um estudo enquanto o conjunto inicial cresce, e o modelo treinado pode assumir quando a pontuação em itens reservados do modelo treinado ultrapassar a concordância do LLM com os mesmos rótulos. O aprendizado ativo combina com ambos, já que o aprendizado ativo escolhe a ordem dos itens e a pré-rotulagem muda o trabalho em cada item.

Quando os pré-rótulos poupam tempo

A pré-rotulagem poupa tempo quando ler e confirmar um rótulo é mais rápido do que produzi-lo. Em um experimento de etiquetagem morfossintática com dois anotadores, Fort e Sagot (2010) mediram um anotador em cerca de 7,5 minutos por 10 frases sem pré-anotação e cerca de 2,5 minutos ao corrigir a saída de um etiquetador. Um etiquetador treinado em apenas 50 frases atingiu 81,6% de acurácia, e o tempo que as pré-anotações desse etiquetador pouparam não diferiu significativamente do tempo poupado por um etiquetador treinado em 37.990 frases, com 96,4%. Apenas o etiquetador treinado em 10 frases tornou a anotação significativamente mais lenta que os outros etiquetadores, e esse etiquetador tinha 66,5% de acurácia. Lingren et al. (2014) encontraram economias de tempo de 13,85% a 21,5% por entidade na anotação de entidades nomeadas clínicas, sem mudança significativa na concordância ou no desempenho dos anotadores. Mikulová et al. (2022) constataram que a pré-anotação por um parser preciso tornou a anotação de dependências mais rápida e mais consistente.

Para um modelo treinado nos rótulos do próprio projeto, o resultado de Fort e Sagot sugere que um modelo treinado nas primeiras dezenas de itens rotulados já pode poupar tempo. Um modelo ainda próximo do acaso custa tempo, então os primeiros pré-rótulos devem esperar por uma pontuação em itens reservados bem acima do acaso.

Quando os pré-rótulos prejudicam

Os pré-rótulos mudam as respostas além de mudar a velocidade. Ancoragem é a atração de uma resposta sugerida sobre um julgamento posterior, e carimbar é aceitar sugestões sem ler, uma forma de viés de automação. No experimento de Fort e Sagot, a acurácia do anotador mais preciso caiu de 98,1% para 95,8% com as pré-anotações do etiquetador de 81,6%, e com o melhor etiquetador o mesmo anotador cometeu erros sistemáticos que coincidiam com os do próprio etiquetador (adjetivo em vez de particípio passado). Em um estudo pré-registrado de sugestões de LLMs em tarefas subjetivas, Schroeder et al. (2025) constataram que os anotadores não ficaram mais rápidos e aceitaram as sugestões com frequência suficiente para deslocar a distribuição dos rótulos. A acurácia medida do LLM também subiu quando os rótulos assistidos serviram de referência para a avaliação.

Retreinar com pré-rótulos aceitos acrescenta um ciclo de retroalimentação. Um pré-rótulo que o anotador salva sem alterar passa a ser a resposta desse anotador, e a próxima execução de treinamento aprende com a resposta como com qualquer outro rótulo. Um erro que os anotadores aceitam, portanto, retorna como dados de treinamento, e o próximo modelo pode repetir o erro em novos itens. As medidas de concordância não detectam o ciclo, porque anotadores que aceitam o mesmo pré-rótulo concordam por construção. Como distinguir revisão de carimbo descreve sinais de tempo para anotadores que aceitam sem ler, e medindo como as sugestões de LLMs ancoram os anotadores descreve itens cegos para anotadores que leem e ainda assim são atraídos.

Escolhas de projeto

Quatro configurações decidem se os pré-rótulos ajudam um estudo: o limite mínimo de confiança, os itens que recebem pré-rótulos, a parcela de anotadores reservados e a frequência com que o modelo retreina.

Limiar de confiança

Abaixo de um limite mínimo de confiança, uma predição fica oculta e o anotador rotula o item do zero. Um limite mais alto mostra menos pré-rótulos e uma parcela maior de corretos. Um limite só significa algo quando as confianças do modelo são calibradas. As predições de um modelo calibrado com confiança de 0,8 estão certas cerca de 80% das vezes em itens reservados. O sklearn-text do Potato calibra por padrão as confianças do classificador quando uma execução tem pelo menos 50 itens de treinamento, com o escalonamento de Platt abaixo de 1.000 itens e a regressão isotônica a partir daí. Defina o limite a partir dos itens reservados, na confiança acima da qual o modelo acerta com frequência suficiente para que conferir um pré-rótulo seja mais rápido do que rotular o item.

Quais itens recebem pré-rótulos

O Potato nunca pré-rotula os próprios itens de treinamento de um modelo, porque um modelo tem confiança nos dados de treinamento por razões que nada dizem sobre dados novos. Além dessa regra, mantenha os pré-rótulos fora dos itens usados para medir a concordância entre anotadores e fora dos itens gold. A concordância em itens com um pré-rótulo compartilhado mede o pré-rótulo, e um item gold respondido com o pré-rótulo na tela mede o modelo tanto quanto o anotador. Entre os itens restantes, uma fila de revisão ordenada do menos confiante para o mais confiante coloca os anotadores nos prováveis erros do modelo. Uma fila que serve todos os itens do menos confiante para o mais confiante convém a um estudo em que todos os itens ainda precisam de um rótulo humano.

Reservando anotadores para medir o efeito

A ancoragem é medida comparando respostas dadas com um pré-rótulo a respostas dadas sem ele, pelos mesmos anotadores em itens do mesmo tipo. O ai_support.holdout do Potato retém toda forma de assistência de uma parcela aleatória de pares anotador-item, e os pré-rótulos de treinamento estão entre as formas retidas. O Potato sorteia por par, e não por item, e a maioria dos itens recebe então alguns anotadores assistidos e alguns reservados. Um hash com sal mantém cada par no mesmo grupo após uma reinicialização. Para esquemas radio, multiselect, likert e select, a aba AI influence do painel de administração compara os dois grupos quanto à frequência com que as respostas coincidem com o modelo, à frequência com que coincidem com o gold e à concordância dentro de cada grupo. A aba informa a diferença na concordância com o modelo com um intervalo bootstrap de 95% quando cada grupo tem 10 respostas em itens com uma resposta do modelo. Defina a fração e o sal antes de a anotação começar, já que mudar qualquer um dos dois no meio do estudo reembaralha os grupos. Medindo a influência da IA lista todas as superfícies de assistência que a reserva retém.

Com que frequência retreinar

Retreinar com frequência mantém os pré-rótulos atualizados com as decisões mais recentes das diretrizes e com as correções, e todo retreinamento também substitui os pré-rótulos que os anotadores veem. O auto_retrain do Potato inicia uma execução quando chegaram update_frequency novas anotações (25 por padrão) e passaram min_interval_s segundos desde o fim da última execução (600 por padrão). Um update_frequency maior poupa computação e mantém os pré-rótulos estáveis por trechos de trabalho mais longos. Mantenha split_seed fixo durante o estudo, porque mudar a semente move itens reservados para o treinamento e torna a pontuação em itens reservados de uma execução incomparável com a da seguinte. O Potato também coloca todo item que um revisor corrigiu na divisão de treinamento de toda execução posterior. Uma correção então ensina o modelo seguinte e nunca é usada para pontuar o modelo.

Rotulagem assistida por modelo no Potato

O treinamento de modelos do Potato ajusta um modelo às anotações do próprio estudo na página Training do administrador, pontua o modelo em itens reservados e grava as predições do modelo de volta nos itens como pré-rótulos. A gravação de volta mostra a resposta do modelo pré-selecionada na página de anotação. Um pré-rótulo só passa a ser a resposta do anotador quando o anotador o edita ou segue adiante. Até lá, o item não conta como concluído. Estes blocos acrescentam a rotulagem assistida por modelo, com retreinamento automático e uma reserva de 20%, a uma configuração com um esquema radio chamado sentiment:

yaml
model_training:
  enabled: true
  auto_retrain:
    enabled: true
    trainer: sklearn-text
    schemas: [sentiment]
    update_frequency: 50
    min_interval_s: 600
  writeback:
    schemas: [sentiment]
    include_unlabeled: true
    min_confidence: 0.8
 
ai_support:
  holdout:
    fraction: 0.2
    salt: reviews-2026

writeback.schemas nomeia os esquemas cujas predições os anotadores veem. A lista vem vazia por padrão, e os anotadores não veem predições até que a lista nomeie um esquema. include_unlabeled: true também prevê itens que ninguém rotulou ainda, e esses itens são onde um pré-rótulo poupa tempo. Sem essa configuração, uma execução prevê apenas os itens reservados da execução. As predições abaixo de min_confidence são armazenadas e não mostradas. O bloco de reserva funciona com ai_support.enabled desligado.

assignment_strategy: model_review serve itens pré-rotulados para revisão, do menos confiante para o mais confiante, e assignment_strategy: llm_confidence serve todos os itens nessa ordem. Um revisor registra um veredito accept, correct ou reject em cada pré-rótulo. Um pré-rótulo rejeitado sai do item e não é mostrado de novo. DELETE /admin/training/api/runs/<run_id>/predictions retira todos os pré-rótulos que uma execução gravou. Modelo no ciclo percorre passo a passo a gravação de volta, a fila de revisão, a ordem de aquisição e o auto_retrain, e a referência original sobre gravação de volta lista todas as verificações por que uma predição passa antes de um anotador a ver.

Leitura complementar

Referências

  1. Fort, K., and Sagot, B. (2010). Influence of Pre-annotation on POS-tagged Corpus Development. Proceedings of the Fourth Linguistic Annotation Workshop, 56-63. https://aclanthology.org/W10-1807/
  2. Lingren, T., Deleger, L., Molnar, K., Zhai, H., Meinzen-Derr, J., Kaiser, M., Stoutenborough, L., Li, Q., and Solti, I. (2014). Evaluating the impact of pre-annotation on annotation speed and potential bias: natural language processing gold standard development for clinical named entity recognition in clinical trial announcements. Journal of the American Medical Informatics Association, 21(3), 406-413. https://doi.org/10.1136/amiajnl-2013-001837
  3. Mikulová, M., Straka, M., Štěpánek, J., Štěpánková, B., and Hajič, J. (2022). Quality and Efficiency of Manual Annotation: Pre-annotation Bias. Proceedings of the Thirteenth Language Resources and Evaluation Conference, 2909-2918. https://aclanthology.org/2022.lrec-1.312/
  4. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just Put a Human in the Loop? Investigating LLM-Assisted Annotation for Subjective Tasks. Findings of the Association for Computational Linguistics: ACL 2025, 25771-25795. https://doi.org/10.18653/v1/2025.findings-acl.1323