Novidades

Esta página aborda os novos recursos e melhorias nas versões do Potato v2.x.

Potato 2.3.0

Lançado em 9 de março de 2026

O Potato 2.3 é o maior lançamento da história do Potato, introduzindo anotação agêntica, Modo Solo, Escalonamento Melhor-Pior, autenticação SSO/OAuth, exportação Parquet, 15 novos projetos de demonstração e reforço de segurança.

Anotação Agêntica

Um sistema completo para avaliar agentes de IA por meio de anotação humana. Inclui 12 conversores de formato de trace, 3 tipos de exibição especializados e 9 esquemas de anotação pré-construídos.

12 conversores de formato de trace — Importe traces de agentes do OpenAI, Anthropic, SWE-bench, OpenTelemetry, MCP, CrewAI/AutoGen/LangGraph, LangChain, LangFuse, ReAct, WebArena/VisualWebArena, ATIF e gravações brutas de navegador. Detecção automática disponível.

agentic:
  enabled: true
  trace_converter: react       # or openai, anthropic, webarena, auto, etc.
  trace_file: "data/traces.jsonl"

3 tipos de exibição:

• Exibição de Trace de Agente — Cartões de etapa codificados por cores com observações recolhíveis, formatação JSON legível e barra lateral de linha do tempo para agentes que usam ferramentas
• Exibição de Trace de Agente Web — Capturas de tela completas com sobreposições SVG mostrando alvos de clique, entradas de texto e ações de rolagem; navegação em filmstrip para agentes de navegação
• Exibição de Chat Interativo — Modo de chat ao vivo (o anotador interage com o agente via proxy) e modo de revisão de trace para agentes conversacionais

Avaliações por turno — Avalie etapas individuais juntamente com o trace geral para uma avaliação refinada.

9 esquemas pré-construídos — agent_task_success, agent_step_correctness, agent_error_taxonomy, agent_safety, agent_efficiency, agent_instruction_following, agent_explanation_quality, agent_web_action_correctness, agent_conversation_quality.

Sistema de Proxy de Agente — Proxies OpenAI, HTTP e echo para avaliação de agentes ao vivo.

Saiba mais sobre a Anotação Agêntica →

Modo Solo

Um fluxo de trabalho inteligente de 12 fases em que um único anotador humano colabora com um LLM para rotular conjuntos de dados inteiros, alcançando mais de 95% de concordância com pipelines multianotadores e exigindo apenas 10-15% do total de rótulos humanos.

As 12 fases:

1. Anotação Semente — o humano rotula 50 instâncias diversas
2. Calibração Inicial do LLM — o LLM rotula usando os exemplos semente
3. Análise de Confusão — identifica padrões sistemáticos de discordância
4. Refinamento de Diretrizes — o LLM propõe e o humano aprova diretrizes atualizadas
5. Geração de Funções de Rotulagem — regras programáticas inspiradas no ALCHEmist
6. Rotulagem Ativa — o humano rotula as instâncias mais informativas
7. Ciclo de Refinamento Automatizado — re-rotulagem iterativa com diretrizes aprimoradas
8. Exploração de Discordâncias — o humano resolve conflitos entre LLM/LF
9. Síntese de Casos Extremos — o LLM gera exemplos ambíguos para rotulagem humana
10. Escalonamento de Confiança em Cascata — o humano revisa os rótulos de menor confiança
11. Otimização de Prompt — busca automatizada de prompt inspirada no DSPy
12. Validação Final — revisão de amostra aleatória

solo_mode:
  enabled: true
  llm:
    endpoint_type: openai
    model: "gpt-4o"
    api_key: ${OPENAI_API_KEY}
  seed_count: 50
  accuracy_threshold: 0.92

Priorização de Instâncias com Múltiplos Sinais — 6 pools ponderados (incerto, discordância, fronteira, novidade, padrão_de_erro, aleatório) para selecionar as instâncias mais valiosas.

Saiba mais sobre o Modo Solo →

Escalonamento Melhor-Pior

Anotação comparativa eficiente em que os anotadores selecionam os melhores e piores itens de tuplas. Geração automática de tuplas com designs de blocos incompletos balanceados e três métodos de pontuação (Contagem, Bradley-Terry, Plackett-Luce).

annotation_schemes:
  - annotation_type: best_worst_scaling
    name: fluency
    items_key: "translations"
    tuple_size: 4
    best_label: "Most Fluent"
    worst_label: "Least Fluent"
    scoring:
      method: bradley_terry

Saiba mais sobre o Escalonamento Melhor-Pior →

Autenticação SSO e OAuth

Autenticação pronta para produção com Google OAuth (restrição de domínio), GitHub OAuth (restrição de organização) e OIDC genérico (Okta, Azure AD, Auth0, Keycloak). Suporta registro automático, modo misto e gerenciamento de sessão.

authentication:
  method: google_oauth
  google_oauth:
    client_id: ${GOOGLE_CLIENT_ID}
    client_secret: ${GOOGLE_CLIENT_SECRET}
    allowed_domains:
      - "umich.edu"
    auto_register: true

Saiba mais sobre SSO e OAuth →

Exportação Parquet

Exporte anotações para o formato Apache Parquet, produzindo três arquivos estruturados: annotations.parquet, spans.parquet e items.parquet. Suporta compressão snappy, gzip, zstd, lz4 e brotli, exportação incremental e particionamento por data/anotador. Compatível com pandas, DuckDB, PyArrow, Polars e Hugging Face Datasets.

parquet_export:
  enabled: true
  output_dir: "output/parquet/"
  compression: zstd
  auto_export: true

Saiba mais sobre a Exportação Parquet →

15 novos projetos de demonstração

Novas demonstrações em project-hub/ cobrindo anotação agêntica (5 demos), Modo Solo (3 demos), Escalonamento Melhor-Pior (3 demos), autenticação (2 demos) e fluxos de trabalho de exportação (2 demos). Inicie qualquer demonstração com potato start config.yaml.

Reforço de Segurança

• Tokens de sessão criptograficamente seguros com expiração configurável
• Proteção CSRF ativada por padrão
• Limitação de taxa nos endpoints de autenticação
• Sanitização de entrada para conteúdo fornecido pelo usuário
• Auditoria de dependências com todos os pacotes atualizados
• Cabeçalhos de Política de Segurança de Conteúdo

Outras melhorias

• Conversores de trace personalizados para frameworks de agentes não suportados
• Modo Solo híbrido com amostragem de verificação multianotadores
• Aba de painel de administração do BWS com gráficos de convergência de pontuação
• Exportação Parquet incremental com particionamento por data

Comparação entre v2.2 e v2.3

Potato 2.2.0

Lançado em 20 de fevereiro de 2026

O Potato 2.2 é um grande lançamento de recursos com 9 novos esquemas de anotação, um sistema de exportação plugável, estimativa de competência MACE, 55 instrumentos de pesquisa validados e fontes de dados remotas.

Novos esquemas de anotação (9)

Anotação de Eventos — Estruturas de eventos n-árias com spans de gatilho e papéis de argumento tipados. Anote eventos como ATTACK, HIRE e TRAVEL com argumentos de entidade restritos e visualização de arcos em hub-spoke.

annotation_schemes:
  - annotation_type: event_annotation
    name: events
    span_schema: entities
    event_types:
      - type: "ATTACK"
        trigger_labels: ["EVENT_TRIGGER"]
        arguments:
          - role: "attacker"
            entity_types: ["PERSON", "ORGANIZATION"]
            required: true

Saiba mais sobre a Anotação de Eventos →

Vinculação de Entidades — Vincule anotações de span a bases de conhecimento externas (Wikidata, UMLS, APIs REST personalizadas). Adicione um bloco entity_linking: a qualquer esquema de span para habilitar a busca e a vinculação na KB.

Saiba mais sobre a Vinculação de Entidades →

Triagem — Interface de aceitar/rejeitar/pular ao estilo Prodigy para triagem rápida de dados. Rótulos personalizáveis, atalhos de teclado e avanço automático para anotação de alto rendimento.

Saiba mais sobre a Triagem →

Comparação Pareada — Compare dois itens com modos binário (clique no bloco preferido) ou de escala (controle deslizante). Suporta items_key, allow_tie e o bloco scale: com intervalo configurável.

Saiba mais sobre a Comparação Pareada →

Árvores de Conversa — Anote estruturas hierárquicas de conversa com avaliações por nó, seleção de caminho e comparação de ramificações.

Saiba mais sobre as Árvores de Conversa →

Cadeias de Correferência — Agrupe menções de texto correferentes em cadeias com indicadores visuais. Suporta tipos de entidade, controle de singletons e múltiplos modos de destaque.

Saiba mais sobre as Cadeias de Correferência →

Máscaras de Segmentação — Novas ferramentas de fill, eraser e brush para segmentação de imagem em nível de pixel.

Caixa Delimitadora para PDF/Documentos — Desenhe caixas em páginas de PDF para tarefas de anotação de documentos.

Spans Descontínuos — allow_discontinuous: true permite selecionar segmentos de texto não contíguos como um único span.

Anotação Inteligente

Estimativa de Competência MACE — Algoritmo EM de Bayes Variacional que estima conjuntamente os rótulos verdadeiros e as pontuações de competência dos anotadores (0,0-1,0). Funciona com esquemas radio, likert, select e multiselect.

mace:
  enabled: true
  trigger_every_n: 10
  min_annotations_per_item: 3

Saiba mais sobre o MACE →

Destaque de Opções — Destaque baseado em LLM das opções provavelmente corretas para tarefas de anotação discreta. Destaca as top-k opções com um indicador de estrela enquanto atenua as opções menos prováveis.

ai_support:
  option_highlighting:
    enabled: true
    top_k: 3
    dim_opacity: 0.4

Saiba mais sobre o Destaque de Opções →

Ordenação por Diversidade — Agrupamento baseado em embeddings e amostragem round-robin para garantir que os anotadores vejam conteúdo diverso em vez de itens semelhantes em sequência.

assignment_strategy: diversity_clustering
diversity_ordering:
  enabled: true
  prefill_count: 100

Saiba mais sobre a Ordenação por Diversidade →

Sistema de Exportação

Um novo CLI de exportação plugável (python -m potato.export) converte anotações para 6 formatos padrão do setor: COCO, YOLO, Pascal VOC, CoNLL-2003, CoNLL-U e Máscaras de Segmentação.

python -m potato.export --config config.yaml --format coco --output ./export/

Saiba mais sobre os Formatos de Exportação →

Fontes de Dados Remotas

Carregue dados de anotação de URLs, S3, Google Drive, Dropbox, Hugging Face, Google Sheets e bancos de dados SQL por meio do novo bloco de configuração data_sources:. Inclui carregamento parcial, cache e gerenciamento de credenciais.

Saiba mais sobre as Fontes de Dados Remotas →

Instrumentos de Pesquisa

55 questionários validados em 8 categorias (Personalidade, Saúde Mental, Afeto, Autoconceito, Atitudes Sociais, Estilo de Resposta, Forma Curta, Demografia). Use nas fases de pré-estudo/pós-estudo com instrument: "tipi".

Saiba mais sobre os Instrumentos de Pesquisa →

Outras melhorias

• Rastreamento de objetos em vídeo com interpolação de quadros-chave
• Suporte a arquivo de configuração de IA externo
• Melhorias na grade de layout de formulários
• Manipuladores de formato para PDF, Word, código e planilhas

Potato 2.1.0

Lançado em 5 de fevereiro de 2026

O Potato 2.1 introduz o sistema de exibição de instâncias, suporte visual de IA, vinculação de spans, anotação de spans em múltiplos campos e personalização de layout.

Sistema de Exibição de Instâncias

Um novo bloco de configuração instance_display que separa a exibição de conteúdo da anotação. Exiba qualquer combinação de imagens, vídeos, áudio, texto e diálogos junto com quaisquer esquemas de anotação.

instance_display:
  fields:
    - key: image_url
      type: image
      display_options:
        max_width: 600
        zoomable: true
    - key: description
      type: text
 
annotation_schemes:
  - annotation_type: radio
    name: category
    labels: [nature, urban, people]

Suporta 11 tipos de exibição, incluindo text, html, image, video, audio, dialogue, pairwise, code, spreadsheet, document e pdf.

Saiba mais sobre a Exibição de Instâncias →

Anotação de Spans em Múltiplos Campos

Os esquemas de anotação de span agora suportam uma opção target_field para anotar em múltiplos campos de texto na mesma instância.

annotation_schemes:
  - annotation_type: span
    name: source_entities
    target_field: "source_text"
    labels: [PERSON, ORGANIZATION]
 
  - annotation_type: span
    name: summary_entities
    target_field: "summary"
    labels: [PERSON, ORGANIZATION]

Saiba mais sobre a Anotação de Spans →

Vinculação de Spans

Um novo tipo de anotação span_link para criar relações tipadas entre spans anotados. Suporta links direcionados e não direcionados, relações n-árias, exibição visual de arcos e restrições de rótulo.

annotation_schemes:
  - annotation_type: span
    name: entities
    labels:
      - name: "PERSON"
        color: "#3b82f6"
      - name: "ORGANIZATION"
        color: "#22c55e"
 
  - annotation_type: span_link
    name: relations
    span_schema: entities
    link_types:
      - name: "WORKS_FOR"
        directed: true
        allowed_source_labels: ["PERSON"]
        allowed_target_labels: ["ORGANIZATION"]
        color: "#dc2626"

Saiba mais sobre a Vinculação de Spans →

Suporte Visual de IA

Quatro novos endpoints de visão para assistência de anotação de imagens e vídeos com IA:

• YOLO — Detecção rápida de objetos local
• Ollama Vision — Modelos de visão-linguagem locais (LLaVA, Qwen-VL)
• OpenAI Vision — Visão em nuvem GPT-4o
• Anthropic Vision — Claude com visão

Os recursos incluem detecção de objetos, pré-anotação, classificação, dicas, detecção de cenas, detecção de quadros-chave e rastreamento de objetos.

Saiba mais sobre o Suporte Visual de IA →

Personalização de Layout

Crie layouts visuais personalizados sofisticados usando templates HTML e CSS. O Potato gera um arquivo de layout editável, ou você pode fornecer um template totalmente personalizado com layouts em grade, opções codificadas por cores e estilização de seções.

task_layout: layouts/custom_task_layout.html

Três layouts de exemplo incluídos: moderação de conteúdo, QA de diálogo e revisão médica.

Saiba mais sobre a Personalização de Layout →

Justificativas de Rótulo

Uma quarta capacidade de IA que gera explicações equilibradas sobre por que cada rótulo pode se aplicar, ajudando os anotadores a entender diferentes perspectivas de classificação.

ai_support:
  features:
    rationales:
      enabled: true

Saiba mais sobre o Suporte de IA →

Outras melhorias

• Mais de 50 novos testes para maior confiabilidade
• Melhorias no design responsivo
• Organização aprimorada do project-hub com exemplos de layout
• Correções de bugs em todos os tipos de anotação

Comparação entre v2.0 e v2.1

Potato 2.0

O Potato 2.0 é um grande lançamento que introduz novos recursos poderosos para anotação inteligente e escalável. Esta seção destaca as principais adições e melhorias.

Suporte de IA

Integre Grandes Modelos de Linguagem para auxiliar os anotadores com dicas inteligentes, destaque de palavras-chave e sugestões de rótulo.

Provedores suportados:

• OpenAI (GPT-4, GPT-3.5)
• Anthropic (Claude 3, Claude 3.5)
• Google (Gemini)
• Ollama (modelos locais)
• vLLM (auto-hospedado)

ai_support:
  enabled: true
  endpoint_type: openai
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
  features:
    hints:
      enabled: true
    label_suggestions:
      enabled: true

Saiba mais sobre o Suporte de IA →

Anotação de Áudio

Anotação de áudio com todos os recursos e visualização de forma de onda alimentada pelo Peaks.js. Crie segmentos, rotule regiões de tempo e anote fala com atalhos de teclado.

Principais recursos:

• Visualização de forma de onda
• Criação e rotulagem de segmentos
• Perguntas de anotação por segmento
• Mais de 15 atalhos de teclado
• Cache de forma de onda no servidor

annotation_schemes:
  - annotation_type: audio
    name: speakers
    mode: label
    labels:
      - Speaker A
      - Speaker B

Saiba mais sobre a Anotação de Áudio →

Aprendizado Ativo

Priorize automaticamente as instâncias de anotação com base na incerteza do modelo. Treine classificadores com base nas anotações existentes e direcione os anotadores aos exemplos mais informativos.

Capacidades:

• Múltiplas opções de classificador (LogisticRegression, RandomForest, SVC, MultinomialNB)
• Diversos vetorizadores (TF-IDF, Count, Hashing)
• Persistência de modelo entre reinicializações
• Seleção aprimorada por LLM
• Suporte a múltiplos esquemas

active_learning:
  enabled: true
  schema_names:
    - sentiment
  min_instances_for_training: 30
  update_frequency: 50
  classifier:
    type: LogisticRegression

Saiba mais sobre o Aprendizado Ativo →

Fase de Treinamento

Qualifique os anotadores com perguntas práticas antes da tarefa principal. Forneça feedback imediato e garanta a qualidade por meio de critérios de aprovação configuráveis.

Recursos:

• Perguntas práticas com respostas conhecidas
• Feedback e explicações imediatos
• Critérios de aprovação configuráveis
• Opções de nova tentativa
• Acompanhamento de progresso no painel de administração

phases:
  training:
    enabled: true
    data_file: "data/training.json"
    passing_criteria:
      min_correct: 8
      total_questions: 10

Saiba mais sobre a Fase de Treinamento →

Painel de Administração Aprimorado

Interface abrangente de monitoramento e gerenciamento para tarefas de anotação.

Abas do painel:

• Visão Geral: Métricas de alto nível e taxas de conclusão
• Anotadores: Acompanhamento de desempenho, análise de tempo
• Instâncias: Navegue pelos dados com pontuações de discordância
• Configuração: Ajuste de configurações em tempo real

admin_api_key: ${ADMIN_API_KEY}

Saiba mais sobre o Painel de Administração →

Backend de Banco de Dados

Suporte ao MySQL para implantações em larga escala com pool de conexões e suporte a transações.

database:
  type: mysql
  host: localhost
  database: potato_db
  user: ${DB_USER}
  password: ${DB_PASSWORD}

O Potato cria automaticamente as tabelas necessárias na primeira inicialização.

Histórico de Anotações

Rastreamento completo de todas as mudanças de anotação com timestamps, IDs de usuário e tipos de ação. Permite auditoria e análise comportamental.

{
  "history": [
    {
      "timestamp": "2024-01-15T10:30:00Z",
      "user": "annotator_1",
      "action": "create",
      "schema": "sentiment",
      "value": "Positive"
    }
  ]
}

Fluxos de Trabalho Multifásicos

Construa fluxos de trabalho de anotação complexos com múltiplas fases sequenciais:

1. Consentimento - Coleta de consentimento informado
2. Pré-estudo - Demografia e triagem
3. Instruções - Diretrizes da tarefa
4. Treinamento - Perguntas práticas
5. Anotação - Tarefa principal
6. Pós-estudo - Pesquisas de feedback

phases:
  consent:
    enabled: true
    data_file: "data/consent.json"
  prestudy:
    enabled: true
    data_file: "data/demographics.json"
  training:
    enabled: true
    data_file: "data/training.json"
  poststudy:
    enabled: true
    data_file: "data/feedback.json"

Saiba mais sobre os Fluxos de Trabalho Multifásicos →

Mudanças de configuração da v2.0

Nova Estrutura de Configuração

O Potato 2.0 usa um formato de configuração mais limpo:

v1 (antigo):

data_files:
  - data.json
id_key: id
text_key: text
output_file: annotations.json

v2 (novo):

data_files:
  - "data/data.json"
 
item_properties:
  id_key: id
  text_key: text
 
output_annotation_dir: "output/"
output_annotation_format: "json"

Requisito de Segurança

Os arquivos de configuração agora precisam estar localizados dentro do task_dir:

# Valid - config.yaml is in the project directory
task_dir: "."
 
# Valid - config in configs/ subdirectory
task_dir: "my_project/"

Comparação Rápida

Guia de Migração

Atualizando sua configuração (v1 para v2)

1. Configuração de dados

   yamlCopy

   # Old
   id_key: id
   text_key: text
    
   # New
   item_properties:
     id_key: id
     text_key: text

2. Configuração de saída

   yamlCopy

   # Old
   output_file: annotations.json
    
   # New
   output_annotation_dir: "output/"
   output_annotation_format: "json"

3. Localização do arquivo de configuração Certifique-se de que o seu arquivo de configuração esteja dentro do diretório do projeto.

Iniciando o Servidor

# v2 command
python -m potato start config.yaml -p 8000
 
# Or shorthand
potato start config.yaml

Primeiros Passos

Pronto para experimentar o Potato? Comece pelo Guia de Início Rápido ou explore recursos específicos:

Recursos da v2.3:

• Anotação Agêntica - Avalie agentes de IA com 12 conversores e 3 tipos de exibição
• Modo Solo - Rotulagem colaborativa humano-LLM
• Escalonamento Melhor-Pior - Anotação comparativa com pontuação
• SSO e OAuth - Autenticação Google, GitHub e OIDC
• Exportação Parquet - Exportação de dados colunar

Recursos da v2.2:

• Anotação de Eventos - Estruturas de eventos n-árias
• Vinculação de Entidades - Vinculação a bases de conhecimento
• Triagem - Triagem rápida de dados
• Cadeias de Correferência - Correferência de entidades
• Árvores de Conversa - Anotação hierárquica de diálogos
• MACE - Estimativa de competência de anotadores
• Destaque de Opções - Orientação de opções assistida por IA
• Ordenação por Diversidade - Ordenação de itens baseada em embeddings
• Formatos de Exportação - CLI de exportação com 6 formatos
• Fontes de Dados Remotas - Carregamento de dados em nuvem
• Instrumentos de Pesquisa - 55 questionários validados

Recursos da v2.1:

• Exibição de Instâncias - Exibição de conteúdo multimodal
• Suporte Visual de IA - IA para anotação de imagens e vídeos
• Vinculação de Spans - Anotação de relações entre entidades

Recursos Principais:

• Suporte de IA - Assistência inteligente de anotação
• Aprendizado Ativo - Priorização inteligente de instâncias
• Anotação de Áudio - Anotação baseada em forma de onda
• Fase de Treinamento - Qualificação de anotadores
• Painel de Administração - Monitoramento e gerenciamento