Notícias, tutoriais e novidades da equipe do Potato.
Potato 2.9 imports brat, doccano, Prodigy, CoNLL, and REFI-QDA projects, transcribes and diarizes audio locally, and records where each image shape came from.
Mean IoU between annotators can stay near 0.95 even for one who never looks. Potato reports σ, which estimates the chance baseline from other images.
Potato 2.8 adds computer vision, deep zoom, 3D point clouds, depth maps, robot episodes, and video-model evaluation, with chance-corrected agreement for each.
Get notified about new tutorials, releases, and community highlights.
Equipes de anotação já fazem sessões de norming e já queriam saber como seus anotadores pensam. As Salas multijogador medem a reunião de calibração com um medidor de concordância ao vivo; o Modo Think-Aloud grava o raciocínio falado, localmente e sem LLM.
Padrões-ouro são caros, vazam e só testam os casos que você lembrou de plantar. Duas alternativas, a pontuação por predição de pares e as sondagens contrafactuais de fronteira, pegam anotadores desatentos e diretrizes quebradas sem um único item plantado.
Nosso artigo sobre o Potato 2.0 está nas System Demonstrations da ACL 2026. Veja o que ele cobre e como citar o Potato no seu trabalho.
Um passo a passo da avaliação humana para agentes de fala, vídeo e documentos no Potato: pontuando a alternância de turnos em uma linha do tempo de duas faixas, ancorando eventos de vídeo com IoU ao vivo, marcando erros de fala e demarcando a estrutura de tabelas.
Annotation pipelines are built to erase disagreement, but on subjective tasks the disagreement is the data. A guide to telling genuine label variation from error, and keeping it in Potato.
Rotular tudo em duplicado sai caro; rotular tudo uma única vez deixa você às cegas. O Potato 2.6 permite atribuir um anotador à maioria dos itens e três a uma amostra estratificada, com reforços adaptativos e encaminhamento automático para arbitragem.
Usar um LLM para avaliar as saídas de um modelo é fácil. Saber se vale a pena acreditar nele é a parte difícil. Um passeio pela calibração humana às cegas do Potato 2.6: votação com k amostras, kappa de Cohen e de Fleiss, e o erro de calibração esperado.
Um olhar sobre o Modo QDA, o espaço de trabalho de análise de dados qualitativos que chega no Potato 2.6: um livro de códigos vivo, codificação in vivo, memorandos analíticos, casos e busca em texto completo sobre um corpus inteiro.
Como definir o número de anotadores e a sobreposição de um projeto de anotação: regras práticas para tarefas objetivas e subjetivas, o equilíbrio entre cobertura e sobreposição, e como configurar isso no Potato.
Um guia prático para avaliar geração aumentada por recuperação: pontue a relevância da recuperação e a fidelidade da resposta separadamente e marque afirmações sem suporte com anotação de spans no Potato.
Use o esquema trajectory_eval do Potato para localização de erros por etapa, com taxonomias hierárquicas de erro, pontuação de severidade e acompanhamento de pontuação acumulada ao longo dos traços de agentes.
Configure a anotação de revisão de código no estilo de PR do GitHub no Potato com comentários inline em diffs, avaliações de qualidade por arquivo e veredictos de aprovar ou rejeitar para a saída de agentes de programação.
Como configurar no Potato a avaliação humana da saída de agentes de IA, da importação de traces e do design de esquemas por trace e por passo até a análise dos resultados exportados.
Tutorial passo a passo do Modo Solo do Potato: rotule você mesmo um conjunto de sementes, deixe um LLM rotular o resto e use as verificações de acurácia para decidir quando o resultado está bom o bastante para parar.
Migre do Label Studio para o Potato, convertendo configurações de projeto, esquemas de anotação e dados exportados com este guia passo a passo que cobre os tipos de anotação mais comuns.
Execute um estudo de anotação do Potato no Prolific com login direto pela URL, código de conclusão, verificações de atenção e monitoramento de envios pela API.
Monte uma tarefa de detecção de objetos no Potato, de uma configuração inicial com três rótulos até uma configuração de produção para imagens de direção, e exporte para COCO ou YOLO.
Converta anotações do Potato para o formato de Datasets do HuggingFace, cobrindo a estrutura de exportação JSON, geração de cartão do dataset, upload para o Hub e integração com o treinamento via transformers.
Construa uma tarefa completa de classificação de sentimento com botões de rádio, tooltips e atalhos de teclado para uma rotulagem eficiente.
Configure o Potato para detecção de toxicidade, classificação de discurso de ódio e rotulagem de conteúdo sensível, levando o bem-estar dos anotadores em conta.
Configure a anotação para detectar sons específicos como fala, música, aplausos ou ruídos ambientais com trechos marcados por timestamp.
Configure seu primeiro projeto de anotação no Potato em 5 minutos, do pip install a um servidor em execução com config YAML, dados de exemplo e suas primeiras instâncias rotuladas.
Crie uma tarefa de anotação musical no Potato com visualização de forma de onda, prévia de 30 segundos, árvores hierárquicas de rótulos de gênero e comparações de preferência aos pares.
Rode o Potato em produção atrás do nginx com TLS, no Docker ou em uma VM, e entenda por que um servidor Potato roda como um único processo e não como vários workers.
Configure uma tarefa de revisão de transcrição de áudio no Potato com visualização de forma de onda, reprodução em velocidade variável e interfaces de correção de texto inline para avaliação de qualidade de ASR.
Nosso artigo sobre o Potato foi aceito na EMNLP 2022. Conheça a pesquisa por trás da ferramenta e como citá-la em seu trabalho.