Notícias, tutoriais e novidades da equipe do Potato.
An LLM judge is only as trustworthy as the human labels you validated it against. Put a person's chain of thought next to a model's on the same item, and check your judge against labels that carry their own confidence intervals.
When who annotates matters, a validated questionnaire beats a question you invented. A tour of Potato's 55 built-in survey instruments and when each one earns a place in your study.
An annotation dataset without documentation is hard to trust and easy to misuse. A guide to data statements, datasheets, and a release checklist, plus how Potato records most of it for you.
Get notified about new tutorials, releases, and community highlights.
Potato 2.6 já saiu: Modo QDA para codificação qualitativa, um fluxo de calibração e alinhamento de LLM-as-judge, edição de trajetórias que produz dados de treino SFT e DPO, uma inicialização 3 vezes mais rápida e uma nova licença GPL-3.0-or-later.
A linha 2.6.x transforma o Potato em uma plataforma completa e gratuita de avaliação de agentes: ingestão de traces do OpenTelemetry, LangGraph, CrewAI e AutoGen, anotação de equipes multiagente com um grafo de interação clicável, esquemas para agentes multimodais de GUI, voz e vídeo, além de uma arena de modelos, gating em CI e curadoria.
A maioria das avaliações de agentes para numa pontuação. O esquema trajectory_edit do Potato 2.6 permite que os anotadores reescrevam um passo errado em vez de o classificarem, e exporta cada correção como alvos de fine-tuning supervisionado e pares de preferência para DPO.
Annotating an agent's multi-step trace is harder than labeling a tweet. A guide to designing the taxonomy, measuring step-level agreement, and adjudicating disagreement, with a Potato config.
How to write an annotation codebook an LLM can actually follow, validate its labels against human coders, and keep a person in the loop, with a worked Potato config.
Identifique alucinações e erros factuais de modelos destacando as palavras exatas e rotulando o que está errado, no estilo MQM, com anotação de spans no Potato.
Tutorial para configurar a observação ao vivo de agentes de código com Ollama, API da Anthropic ou Claude Agent SDK. Inclui pausa, rollback, ramificação e exportação de trajetórias.
Configure a comparação de agentes aos pares no Potato com três modos: preferência binária, escala contínua e julgamento multicritério por dimensão com justificativa obrigatória.
O Potato 2.4.0 traz revisão de traces de agentes web, avaliação de agentes ao vivo em tempo real, uma barra lateral de chat com LLM, exportação para o HuggingFace Hub, webhooks, SSO/OAuth e cinco estratégias de aprendizado ativo.
O Potato 2.3.0 introduz anotação agêntica com 12 conversores de formato de trace, Solo Mode para rotulagem colaborativa entre humanos e LLMs, Best-Worst Scaling, SSO/OAuth, exportação para Parquet e 15 projetos de demonstração.
O Potato 2.1.0 traz o sistema de exibição de instâncias, suporte de IA visual para anotação de imagens e vídeos, vinculação de spans, spans multicampo e personalização de layout.
Configure detecção de objetos, pré-anotação e classificação assistidas por IA para tarefas de imagem e vídeo com YOLO, Ollama, OpenAI e Claude.
Configure ferramentas de desenho de polígonos no Potato para tarefas de segmentação de imagens, com dicas para formas complexas, regiões sobrepostas, polígonos multiclasse e exportação para o formato COCO.
Reduza o esforço de anotação em até 50% usando o aprendizado ativo do Potato e as estratégias de amostragem por incerteza, BADGE e BALD para priorizar os exemplos não rotulados mais informativos.
Configure o destaque de palavras-chave com IA no Potato para chamar a atenção do anotador para termos importantes. Cobre OpenAI, Claude e a configuração de listas de palavras-chave personalizadas.
Execute tarefas de anotação do Potato no Amazon Mechanical Turk, configuração de HIT, testes de qualificação, fluxos de aprovação e rejeição, pagamentos de bônus e monitoramento de qualidade.
Monte uma tarefa de identificação de locutores no Potato com formas de onda de áudio interativas, marcadores de tempo, atribuição de rótulos de locutor e medição de concordância entre anotadores.
Configure anotação de vídeo no Potato com navegação quadro a quadro, marcadores de tempo, rotulagem de eventos temporais e classificação por segmento usando esquemas radio ou span.
Configure a classificação de imagens no Potato com pré-visualizações em miniatura, controles de zoom, esquemas de caixas de seleção multirrótulo e atalhos de teclado para anotação visual de alto rendimento.
Integre OpenAI, Claude ou Gemini ao Potato para fornecer dicas de rótulo inteligentes, sugestões de pré-anotação e realces de palavras-chave que aceleram a produtividade do anotador.
Guia passo a passo para construir uma tarefa de reconhecimento de entidades nomeadas no Potato, com configuração de anotação de spans, cores de rótulos, spans sobrepostos, atalhos de teclado e exportação CoNLL.
Um mergulho profundo nos formatos de dados JSON e JSONL no Potato, estruturando instâncias para anotação de texto, imagem, áudio, vídeo e multimodal com exemplos reais de configuração.