Novidades

Esta página aborda os novos recursos e melhorias nas versões do Potato v2.x.

Potato 2.7.2

Lançado em agosto de 2026

Registro de teclas para campos de texto livre. O Potato registra o tempo por trás de uma resposta e nunca os caracteres, o que já é suficiente para separar o que foi digitado do que foi colado.

• Registro de teclas — captura cega ao conteúdo de pausas, rajadas, revisões e colagens em todo campo de texto livre, com cerca de quarenta atributos de resumo calculados por resposta. Desativado por padrão.
• Detecção do processo de escrita — seis regras nomeadas, com limiares explícitos, que informam os valores dos atributos por trás de cada sinalização. Os limiares podem ser reajustados ao seu próprio projeto, e há um caminho supervisionado se você tiver rótulos.
• Orientação ética — texto de consentimento de exemplo, retenção e exclusão, o problema da taxa-base e por que uma sinalização é um convite a olhar, e não um achado.
• Exportações opcionais — export_include_typing_dynamics grava um arquivo de resumo ao lado das anotações, e --format keystrokes grava os fluxos brutos em Parquet. Nenhuma das duas vem ativada, então dados comportamentais nunca acabam em uma publicação de dataset por acidente.

A divulgação aos anotadores vem ativada por padrão, e desligá-la registra um aviso na inicialização.

Potato 2.7.1

Lançado em julho de 2026

Ingestão de transcrições, partindo da premissa de que a transcrição já existe. Alguém rodou o Whisper, ou baixou as legendas, ou recebeu um corpus pronto, e o passo seguinte não deveria ser escrever um script de conversão.

• 21 formatos de transcrição e legenda, contra 6 antes. Whisper, WhisperX, whisper.cpp, AWS Transcribe, Deepgram, AssemblyAI, Rev.ai, SPoRC, SubRip, WebVTT, SubStation Alpha, TTML/DFXP, json3 e srv1/srv2/srv3 do YouTube, NIST CTM, Praat TextGrid e ELAN EAF. A detecção é pelo conteúdo do arquivo, não pela extensão.
• Arquivos de transcrição externos — um arquivo de dados pode apontar para media/int_001.srt em disco em vez de embutir a transcrição. Os caminhos são resolvidos sob task_dir pela verificação padrão de segurança de caminhos, então suas transcrições continuam sendo arquivos que você pode comparar com diff e reexportar.
• potato transcripts — um conversor que transforma uma pasta de saídas de ASR em um arquivo de dados pronto para anotação, pareando transcrições e mídia pelo nome-base. --dry-run informa o que foi detectado antes de gravar qualquer coisa, e --emit-config imprime uma configuração correspondente.
• Um só vocabulário de formatos em quatro esquemas — speech_transcript, voice_interaction e tiered_annotation agora aceitam tudo o que a exibição audio_dialogue aceita. Antes, só a exibição aceitava.
• Anotando transcrições do Whisper e Anotando legendas do YouTube percorrem os dois pontos de partida do início ao fim.

O ASR e a diarização continuam sendo etapas anteriores. O Potato lê a saída deles; não transcreve.

Potato 2.7.0

Lançado em julho de 2026

O Potato 2.7 foi construído sobre uma ideia: uma ferramenta de anotação deveria medir como os julgamentos são feitos, e não apenas registrar quais foram. Isso vale para os dois tipos de juiz — as pessoas que anotam e os modelos de IA que estão sendo avaliados.

Medindo como as pessoas rotulam

Sete recursos opcionais, nenhum deles exigindo um LLM.

• Motor psicométrico — uma camada ao vivo de teoria de resposta ao item que dá a cada rótulo uma probabilidade posterior e um intervalo de confiança (p = 0.94 [0.88–0.97]) em vez de um voto majoritário seco. Estima a habilidade do anotador e a dificuldade do item apenas a partir dos padrões de concordância, encaminha itens ao anotador cujo julgamento carrega mais informação e sinaliza prováveis defeitos no livro de códigos.
• Salas multijogador — a reunião de calibração que sua equipe já faz por compartilhamento de tela, agora dentro da ferramenta e instrumentada: voto às cegas, revelação pelo anfitrião, discussão e nova votação, com um medidor ao vivo do alfa de Krippendorff mostrando o quanto a sessão valeu.
• Laboratório de fronteiras de decisão (Boundary Lab) — sondagens contrafactuais depois de cada rótulo («isso continuaria valendo?»), que transformam a anotação comum em conjuntos de contraste e pegam anotadores inconsistentes sem plantar itens-ouro.
• Truth Serum — pontuação por predição entre pares do tipo surpreendentemente popular, que supera o voto majoritário onde a anotação é difícil, sem nenhum rótulo-ouro.
• Modo Think-Aloud — os anotadores falam enquanto trabalham; a conversão de fala em texto roda inteiramente na máquina local e a transcrição literal vira a justificativa.
• Modo artigo — um comando transforma um projeto em um relatório de conjunto de dados em LaTeX compilável, com estatísticas de concordância e citações incluídas.
• Modo bolso — anotação móvel de primeira classe, com pilha de cartões deslizáveis, sincronização offline e instalação como PWA.

Avaliando agentes de IA

O conjunto de avaliação de agentes cresceu para cobrir estrutura de equipe e agentes multimodais: um grafo de interação entre agentes clicável, atribuição de falhas entre agentes, revisão de repasses, scorecards por agente e por equipe, linhas do tempo de disputa por ferramentas e marcação de comportamento emergente, além de trajetórias de GUI e uso de computador, linhas do tempo de voz full-duplex, ancoragem temporal em vídeo e estrutura de tabelas em documentos.

Em todo o resto

Anotação de eventos entre documentos, anotação por turno, um livro de códigos vivo com editor de página inteira, vinculação entre páginas em PDF com OCR opcional, papéis RBAC com esquemas por coorte, painéis de administração e de anotador em 10 idiomas e uma instalação bem mais leve — os SDKs de IA agora carregam sob demanda, o que reduziu o tempo de inicialização de cerca de 2,0s para 0,7s.

Potato 2.6.0

Lançado em junho de 2026

O Potato 2.6 entra na análise de dados qualitativos e aprofunda o conjunto de ferramentas de avaliação de agentes. Ele acrescenta o Modo QDA, um fluxo de calibração e alinhamento de LLM como juiz com uma fila de triagem baseada em sinais, e esquemas de edição de trajetória que produzem dados de treinamento SFT e DPO. O Potato também foi relicenciado para GPL-3.0-or-later (antes PolyForm Shield).

Modo QDA

O qda_mode, opcional, transforma o Potato em um espaço de trabalho colaborativo de codificação qualitativa. Ativá-lo reúne um livro de códigos vivo, codificação in vivo, memorandos do analista, casos e busca de texto completo, com padrões ajustados para um analista codificando um corpus inteiro.

qda_mode:
  enabled: true            # codebook + memos + cases + search
codebook_invivo_key: i     # mint a code from a text selection
search:
  enabled: true
  annotator_claim: true

Saiba mais sobre o Modo QDA →

Calibração e alinhamento de LLM como juiz

Rotule dados automaticamente com um ou mais juízes LLM e depois faça uma rodada cega de calibração humana para medir acurácia, concordância e erro de calibração. Um fluxo separado de alinhamento com um único juiz acompanha o kappa de Cohen contra os seus rótulos-ouro humanos à medida que você refina a rubrica, com um veredito inline opcional durante a anotação.

Saiba mais sobre Calibração de Juízes → · Alinhamento de Juízes →

Fila de triagem baseada em sinais

Priorize a fila de anotação por um sinal de qualidade por item — um erro do agente, um polegar para baixo em produção, uma pontuação baixa ou qualquer campo personalizado — para que os revisores vejam primeiro os itens mais suspeitos, em vez da ordem de chegada.

triage:
  enabled: true
  signal_field: quality_score
  invert_signal: true
assignment_strategy: priority

Saiba mais sobre a Fila de Triagem →

Edição de trajetória para SFT/DPO

Os novos esquemas trajectory_edit e trajectory_correction permitem que os anotadores reescrevam passos do trace do agente. O exportador transforma cada par original/corrigido em alvos de ajuste fino supervisionado (trajectory_sft.jsonl) e em pares de preferência DPO (trajectory_dpo.jsonl).

Saiba mais sobre Edição de Trajetória →

Exibição eval_trace

Uma exibição de trace de agente em três painéis — Raciocínio, Chamadas de Função e Resposta Final — feita para avaliação contínua, em que os traces chegam por um webhook, um poller do Langfuse ou um diretório monitorado e são julgados assim que chegam.

Saiba mais sobre o eval_trace →

Fluxo de trabalho e atribuição

• Cobertura heterogênea — limites de anotadores por item, relatório de concordância entre anotadores e roteamento de adjudicação para tarefas em que os itens precisam de números diferentes de anotadores.
• Recuperar atribuições abandonadas — recupere atribuições deixadas por trabalhadores do Prolific ou bloqueados pelo controle de qualidade, com retenção configurável e recuperação idempotente.
• Estratégia de atribuição por lote personalizado — atribua lotes predefinidos de itens a anotadores específicos.
• Prefixos de URL para proxy reverso — sirva o Potato sob um subcaminho atrás de um proxy reverso.

Licenciamento

O Potato agora é distribuído sob GPL-3.0-or-later, relicenciado a partir da PolyForm Shield. Você pode usar, modificar e redistribuir, inclusive comercialmente, desde que os trabalhos derivados permaneçam sob a GPL. Veja a página Sobre para detalhes.

Desempenho e estabilidade

• Inicialização cerca de 3× mais rápida. A pilha de ML deixou de ser carregada de imediato na inicialização: o tempo de importação caiu de cerca de 6,5s para 2s, a inicialização de 50 mil itens de cerca de 10s para 5,7s e a memória residente de cerca de 750MB para 365MB.
• Renomeação de esquema. annotation_type: highlight agora é span, com migração em vigor. Atualize configurações antigas renomeando o tipo; configurações span existentes não são afetadas.
• Uma ampla onda de reforço de QA passou por registro de rotas, fases de treinamento, Prolific, persistência, exportação e tratamento de pesquisas, webhooks, modo solo e aprendizado ativo.

Potato 2.5.0

Lançado em 2026

Uma onda de codificação qualitativa que torna o Potato viável para fluxos de pesquisa qualitativa, ao lado da sua superfície de anotação para PLN e ML.

• Concordância entre anotadores — kappa de Cohen (par a par) e kappa de Fleiss (N avaliadores), além do alfa de Krippendorff, expostos pela API de concordância do administrador. Veja o guia de concordância entre anotadores.
• Novos exportadores — codebook (CSV por esquema com hierarquia de códigos, cor, descrição e contagem de uso) e quotation_report (CSV por trecho com texto, deslocamentos, documento de origem e codificador).
• Análise de códigos — endpoints de administração para coocorrência de códigos par a par e uma tabulação cruzada de códigos por atributo sobre os metadados de instância existentes.

Potato 2.4.5

Lançado em 2026

Uma versão de estabilidade e ferramentaria.

• Refinamento validado — um framework plugável para melhorar iterativamente as diretrizes de anotação do modo solo, com salvaguardas contra contradições nas diretrizes e vazamento de metadados.
• Validador de configuração — uma nova CLI python -m potato.validate_cli que verifica as chaves de configuração contra o esquema de configuração conhecido.
• Segurança — correção de um desvio na validação de caminhos por prefixo de diretório irmão (GHSA-q9m2-fhv9-3jcf).
• Correções em sincronização de estado de salvamento/navegação, integração com o Prolific, navegação multifase e retorno do controle de qualidade.

Potato 2.3.0

Lançado em 9 de março de 2026

O Potato 2.3 é o maior lançamento da história do Potato, introduzindo anotação agêntica, Modo Solo, Escalonamento Melhor-Pior, autenticação SSO/OAuth, exportação Parquet, 15 novos projetos de demonstração e reforço de segurança.

Anotação Agêntica

Um sistema completo para avaliar agentes de IA por meio de anotação humana. Inclui 12 conversores de formato de trace, 3 tipos de exibição especializados e 9 esquemas de anotação pré-construídos.

12 conversores de formato de trace — Importe traces de agentes do OpenAI, Anthropic, SWE-bench, OpenTelemetry, MCP, CrewAI/AutoGen/LangGraph, LangChain, LangFuse, ReAct, WebArena/VisualWebArena, ATIF e gravações brutas de navegador. Detecção automática disponível.

agentic:
  enabled: true
  trace_converter: react       # or openai, anthropic, webarena, auto, etc.
  trace_file: "data/traces.jsonl"

3 tipos de exibição:

• Exibição de Trace de Agente — Cartões de etapa codificados por cores com observações recolhíveis, formatação JSON legível e barra lateral de linha do tempo para agentes que usam ferramentas
• Exibição de Trace de Agente Web — Capturas de tela completas com sobreposições SVG mostrando alvos de clique, entradas de texto e ações de rolagem; navegação em filmstrip para agentes de navegação
• Exibição de Chat Interativo — Modo de chat ao vivo (o anotador interage com o agente via proxy) e modo de revisão de trace para agentes conversacionais

Avaliações por turno — Avalie etapas individuais juntamente com o trace geral para uma avaliação refinada.

9 esquemas pré-construídos — agent_task_success, agent_step_correctness, agent_error_taxonomy, agent_safety, agent_efficiency, agent_instruction_following, agent_explanation_quality, agent_web_action_correctness, agent_conversation_quality.

Sistema de Proxy de Agente — Proxies OpenAI, HTTP e echo para avaliação de agentes ao vivo.

Saiba mais sobre a Anotação Agêntica →

Modo Solo

Um fluxo de trabalho inteligente de 12 fases em que um único anotador humano colabora com um LLM para rotular conjuntos de dados inteiros, alcançando mais de 95% de concordância com pipelines multianotadores e exigindo apenas 10-15% do total de rótulos humanos.

As 12 fases:

1. Anotação Semente — o humano rotula 50 instâncias diversas
2. Calibração Inicial do LLM — o LLM rotula usando os exemplos semente
3. Análise de Confusão — identifica padrões sistemáticos de discordância
4. Refinamento de Diretrizes — o LLM propõe e o humano aprova diretrizes atualizadas
5. Geração de Funções de Rotulagem — regras programáticas inspiradas no ALCHEmist
6. Rotulagem Ativa — o humano rotula as instâncias mais informativas
7. Ciclo de Refinamento Automatizado — re-rotulagem iterativa com diretrizes aprimoradas
8. Exploração de Discordâncias — o humano resolve conflitos entre LLM/LF
9. Síntese de Casos Extremos — o LLM gera exemplos ambíguos para rotulagem humana
10. Escalonamento de Confiança em Cascata — o humano revisa os rótulos de menor confiança
11. Otimização de Prompt — busca automatizada de prompt inspirada no DSPy
12. Validação Final — revisão de amostra aleatória

solo_mode:
  enabled: true
  llm:
    endpoint_type: openai
    model: "gpt-4o"
    api_key: ${OPENAI_API_KEY}
  seed_count: 50
  accuracy_threshold: 0.92

Priorização de Instâncias com Múltiplos Sinais — 6 pools ponderados (incerto, discordância, fronteira, novidade, padrão_de_erro, aleatório) para selecionar as instâncias mais valiosas.

Saiba mais sobre o Modo Solo →

Escalonamento Melhor-Pior

Anotação comparativa eficiente em que os anotadores selecionam os melhores e piores itens de tuplas. Geração automática de tuplas com designs de blocos incompletos balanceados e três métodos de pontuação (Contagem, Bradley-Terry, Plackett-Luce).

annotation_schemes:
  - annotation_type: bws
    name: fluency
    tuple_size: 4
    best_description: "Most Fluent"
    worst_description: "Least Fluent"

Saiba mais sobre o Escalonamento Melhor-Pior →

Autenticação SSO e OAuth

Autenticação pronta para produção com Google OAuth (restrição de domínio), GitHub OAuth (restrição de organização) e OIDC genérico (Okta, Azure AD, Auth0, Keycloak). Suporta registro automático, modo misto e gerenciamento de sessão.

authentication:
  method: google_oauth
  google_oauth:
    client_id: ${GOOGLE_CLIENT_ID}
    client_secret: ${GOOGLE_CLIENT_SECRET}
    allowed_domains:
      - "umich.edu"
    auto_register: true

Saiba mais sobre SSO e OAuth →

Exportação Parquet

Exporte anotações para o formato Apache Parquet, produzindo três arquivos estruturados: annotations.parquet, spans.parquet e items.parquet. Suporta compressão snappy, gzip, zstd, lz4 e brotli, exportação incremental e particionamento por data/anotador. Compatível com pandas, DuckDB, PyArrow, Polars e Hugging Face Datasets.

parquet_export:
  enabled: true
  output_dir: "output/parquet/"
  compression: zstd
  auto_export: true

Saiba mais sobre a Exportação Parquet →

15 novos projetos de demonstração

Novas demonstrações em project-hub/ cobrindo anotação agêntica (5 demos), Modo Solo (3 demos), Escalonamento Melhor-Pior (3 demos), autenticação (2 demos) e fluxos de trabalho de exportação (2 demos). Inicie qualquer demonstração com potato start config.yaml.

Reforço de Segurança

• Tokens de sessão criptograficamente seguros com expiração configurável
• Proteção CSRF ativada por padrão
• Limitação de taxa nos endpoints de autenticação
• Sanitização de entrada para conteúdo fornecido pelo usuário
• Auditoria de dependências com todos os pacotes atualizados
• Cabeçalhos de Política de Segurança de Conteúdo

Outras melhorias

• Conversores de trace personalizados para frameworks de agentes não suportados
• Modo Solo híbrido com amostragem de verificação multianotadores
• Aba de painel de administração do BWS com gráficos de convergência de pontuação
• Exportação Parquet incremental com particionamento por data

Comparação entre v2.2 e v2.3

Potato 2.2.0

Lançado em 20 de fevereiro de 2026

O Potato 2.2 é um grande lançamento de recursos com 9 novos esquemas de anotação, um sistema de exportação plugável, estimativa de competência MACE, 55 instrumentos de pesquisa validados e fontes de dados remotas.

Novos esquemas de anotação (9)

Anotação de Eventos — Estruturas de eventos n-árias com spans de gatilho e papéis de argumento tipados. Anote eventos como ATTACK, HIRE e TRAVEL com argumentos de entidade restritos e visualização de arcos em hub-spoke.

annotation_schemes:
  - annotation_type: event_annotation
    name: events
    span_schema: entities
    event_types:
      - type: "ATTACK"
        trigger_labels: ["EVENT_TRIGGER"]
        arguments:
          - role: "attacker"
            entity_types: ["PERSON", "ORGANIZATION"]
            required: true

Saiba mais sobre a Anotação de Eventos →

Vinculação de Entidades — Vincule anotações de span a bases de conhecimento externas (Wikidata, UMLS, APIs REST personalizadas). Adicione um bloco entity_linking: a qualquer esquema de span para habilitar a busca e a vinculação na KB.

Saiba mais sobre a Vinculação de Entidades →

Triagem — Interface de aceitar/rejeitar/pular ao estilo Prodigy para triagem rápida de dados. Rótulos personalizáveis, atalhos de teclado e avanço automático para anotação de alto rendimento.

Saiba mais sobre a Triagem →

Comparação Pareada — Compare dois itens com modos binário (clique no bloco preferido) ou de escala (controle deslizante). Suporta items_key, allow_tie e o bloco scale: com intervalo configurável.

Saiba mais sobre a Comparação Pareada →

Árvores de Conversa — Anote estruturas hierárquicas de conversa com avaliações por nó, seleção de caminho e comparação de ramificações.

Saiba mais sobre as Árvores de Conversa →

Cadeias de Correferência — Agrupe menções de texto correferentes em cadeias com indicadores visuais. Suporta tipos de entidade, controle de singletons e múltiplos modos de destaque.

Saiba mais sobre as Cadeias de Correferência →

Máscaras de Segmentação — Novas ferramentas de fill, eraser e brush para segmentação de imagem em nível de pixel.

Caixa Delimitadora para PDF/Documentos — Desenhe caixas em páginas de PDF para tarefas de anotação de documentos.

Spans Descontínuos — allow_discontinuous: true permite selecionar segmentos de texto não contíguos como um único span.

Anotação Inteligente

Estimativa de Competência MACE — Algoritmo EM de Bayes Variacional que estima conjuntamente os rótulos verdadeiros e as pontuações de competência dos anotadores (0,0-1,0). Funciona com esquemas radio, likert, select e multiselect.

mace:
  enabled: true
  trigger_every_n: 10
  min_annotations_per_item: 3

Saiba mais sobre o MACE →

Destaque de Opções — Destaque baseado em LLM das opções provavelmente corretas para tarefas de anotação discreta. Destaca as top-k opções com um indicador de estrela enquanto atenua as opções menos prováveis.

ai_support:
  option_highlighting:
    enabled: true
    top_k: 3
    dim_opacity: 0.4

Saiba mais sobre o Destaque de Opções →

Ordenação por Diversidade — Agrupamento baseado em embeddings e amostragem round-robin para garantir que os anotadores vejam conteúdo diverso em vez de itens semelhantes em sequência.

assignment_strategy: diversity_clustering
diversity_ordering:
  enabled: true
  prefill_count: 100

Saiba mais sobre a Ordenação por Diversidade →

Sistema de Exportação

Um novo CLI de exportação plugável (python -m potato.export) converte anotações para 6 formatos padrão do setor: COCO, YOLO, Pascal VOC, CoNLL-2003, CoNLL-U e Máscaras de Segmentação.

python -m potato.export --config config.yaml --format coco --output ./export/

Saiba mais sobre os Formatos de Exportação →

Fontes de Dados Remotas

Carregue dados de anotação de URLs, S3, Google Drive, Dropbox, Hugging Face, Google Sheets e bancos de dados SQL por meio do novo bloco de configuração data_sources:. Inclui carregamento parcial, cache e gerenciamento de credenciais.

Saiba mais sobre as Fontes de Dados Remotas →

Instrumentos de Pesquisa

55 questionários validados em 8 categorias (Personalidade, Saúde Mental, Afeto, Autoconceito, Atitudes Sociais, Estilo de Resposta, Forma Curta, Demografia). Use nas fases de pré-estudo/pós-estudo com instrument: "tipi".

Saiba mais sobre os Instrumentos de Pesquisa →

Outras melhorias

• Rastreamento de objetos em vídeo com interpolação de quadros-chave
• Suporte a arquivo de configuração de IA externo
• Melhorias na grade de layout de formulários
• Manipuladores de formato para PDF, Word, código e planilhas

Potato 2.1.0

Lançado em 5 de fevereiro de 2026

O Potato 2.1 introduz o sistema de exibição de instâncias, suporte visual de IA, vinculação de spans, anotação de spans em múltiplos campos e personalização de layout.

Sistema de Exibição de Instâncias

Um novo bloco de configuração instance_display que separa a exibição de conteúdo da anotação. Exiba qualquer combinação de imagens, vídeos, áudio, texto e diálogos junto com quaisquer esquemas de anotação.

instance_display:
  fields:
    - key: image_url
      type: image
      display_options:
        max_width: 600
        zoomable: true
    - key: description
      type: text
 
annotation_schemes:
  - annotation_type: radio
    name: category
    labels: [nature, urban, people]

Suporta 11 tipos de exibição, incluindo text, html, image, video, audio, dialogue, pairwise, code, spreadsheet, document e pdf.

Saiba mais sobre a Exibição de Instâncias →

Anotação de Spans em Múltiplos Campos

Os esquemas de anotação de span agora suportam uma opção target_field para anotar em múltiplos campos de texto na mesma instância.

annotation_schemes:
  - annotation_type: span
    name: source_entities
    labels: [PERSON, ORGANIZATION]
 
  - annotation_type: span
    name: summary_entities
    labels: [PERSON, ORGANIZATION]

Saiba mais sobre a Anotação de Spans →

Vinculação de Spans

Um novo tipo de anotação span_link para criar relações tipadas entre spans anotados. Suporta links direcionados e não direcionados, relações n-árias, exibição visual de arcos e restrições de rótulo.

annotation_schemes:
  - annotation_type: span
    name: entities
    labels:
      - name: "PERSON"
        color: "#3b82f6"
      - name: "ORGANIZATION"
        color: "#22c55e"
 
  - annotation_type: span_link
    name: relations
    span_schema: entities
    link_types:
      - name: "WORKS_FOR"
        directed: true
        allowed_source_labels: ["PERSON"]
        allowed_target_labels: ["ORGANIZATION"]
        color: "#dc2626"

Saiba mais sobre a Vinculação de Spans →

Suporte Visual de IA

Quatro novos endpoints de visão para assistência de anotação de imagens e vídeos com IA:

• YOLO — Detecção rápida de objetos local
• Ollama Vision — Modelos de visão-linguagem locais (LLaVA, Qwen-VL)
• OpenAI Vision — Visão em nuvem GPT-4o
• Anthropic Vision — Claude com visão

Os recursos incluem detecção de objetos, pré-anotação, classificação, dicas, detecção de cenas, detecção de quadros-chave e rastreamento de objetos.

Saiba mais sobre o Suporte Visual de IA →

Personalização de Layout

Crie layouts visuais personalizados sofisticados usando templates HTML e CSS. O Potato gera um arquivo de layout editável, ou você pode fornecer um template totalmente personalizado com layouts em grade, opções codificadas por cores e estilização de seções.

task_layout: layouts/custom_task_layout.html

Três layouts de exemplo incluídos: moderação de conteúdo, QA de diálogo e revisão médica.

Saiba mais sobre a Personalização de Layout →

Justificativas de Rótulo

Uma quarta capacidade de IA que gera explicações equilibradas sobre por que cada rótulo pode se aplicar, ajudando os anotadores a entender diferentes perspectivas de classificação.

ai_support:
  features:
    rationales:
      enabled: true

Saiba mais sobre o Suporte de IA →

Outras melhorias

• Mais de 50 novos testes para maior confiabilidade
• Melhorias no design responsivo
• Organização aprimorada do project-hub com exemplos de layout
• Correções de bugs em todos os tipos de anotação

Comparação entre v2.0 e v2.1

Potato 2.0

O Potato 2.0 é um grande lançamento que introduz novos recursos poderosos para anotação inteligente e escalável. Esta seção destaca as principais adições e melhorias.

Suporte de IA

Integre Grandes Modelos de Linguagem para auxiliar os anotadores com dicas inteligentes, destaque de palavras-chave e sugestões de rótulo.

Provedores suportados:

• OpenAI (GPT-4, GPT-3.5)
• Anthropic (Claude 3, Claude 3.5)
• Google (Gemini)
• Ollama (modelos locais)
• vLLM (auto-hospedado)

ai_support:
  enabled: true
  endpoint_type: openai
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
  features:
    hints:
      enabled: true
    label_suggestions:
      enabled: true

Saiba mais sobre o Suporte de IA →

Anotação de Áudio

Anotação de áudio com todos os recursos e visualização de forma de onda alimentada pelo Peaks.js. Crie segmentos, rotule regiões de tempo e anote fala com atalhos de teclado.

Principais recursos:

• Visualização de forma de onda
• Criação e rotulagem de segmentos
• Perguntas de anotação por segmento
• Mais de 15 atalhos de teclado
• Cache de forma de onda no servidor

annotation_schemes:
  - annotation_type: audio_annotation
    name: speakers
    mode: label
    labels:
      - Speaker A
      - Speaker B

Saiba mais sobre a Anotação de Áudio →

Aprendizado Ativo

Priorize automaticamente as instâncias de anotação com base na incerteza do modelo. Treine classificadores com base nas anotações existentes e direcione os anotadores aos exemplos mais informativos.

Capacidades:

• Múltiplas opções de classificador (LogisticRegression, RandomForest, SVC, MultinomialNB)
• Diversos vetorizadores (TF-IDF, Count, Hashing)
• Persistência de modelo entre reinicializações
• Seleção aprimorada por LLM
• Suporte a múltiplos esquemas

active_learning:
  enabled: true
  schema_names:
    - sentiment
  min_instances_for_training: 30
  update_frequency: 50
  classifier:
    type: LogisticRegression

Saiba mais sobre o Aprendizado Ativo →

Fase de Treinamento

Qualifique os anotadores com perguntas práticas antes da tarefa principal. Forneça feedback imediato e garanta a qualidade por meio de critérios de aprovação configuráveis.

Recursos:

• Perguntas práticas com respostas conhecidas
• Feedback e explicações imediatos
• Critérios de aprovação configuráveis
• Opções de nova tentativa
• Acompanhamento de progresso no painel de administração

phases:
  training:
    enabled: true
    data_file: "data/training.json"
    passing_criteria:
      min_correct: 8
      total_questions: 10

Saiba mais sobre a Fase de Treinamento →

Painel de Administração Aprimorado

Interface abrangente de monitoramento e gerenciamento para tarefas de anotação.

Abas do painel:

• Visão Geral: Métricas de alto nível e taxas de conclusão
• Anotadores: Acompanhamento de desempenho, análise de tempo
• Instâncias: Navegue pelos dados com pontuações de discordância
• Configuração: Ajuste de configurações em tempo real

admin_api_key: ${ADMIN_API_KEY}

Saiba mais sobre o Painel de Administração →

Backend de Banco de Dados

Suporte ao MySQL para implantações em larga escala com pool de conexões e suporte a transações.

database:
  type: mysql
  host: localhost
  database: potato_db
  user: ${DB_USER}
  password: ${DB_PASSWORD}

O Potato cria automaticamente as tabelas necessárias na primeira inicialização.

Histórico de Anotações

Rastreamento completo de todas as mudanças de anotação com timestamps, IDs de usuário e tipos de ação. Permite auditoria e análise comportamental.

{
  "history": [
    {
      "timestamp": "2024-01-15T10:30:00Z",
      "user": "annotator_1",
      "action": "create",
      "schema": "sentiment",
      "value": "Positive"
    }
  ]
}

Fluxos de Trabalho Multifásicos

Construa fluxos de trabalho de anotação complexos com múltiplas fases sequenciais:

1. Consentimento - Coleta de consentimento informado
2. Pré-estudo - Demografia e triagem
3. Instruções - Diretrizes da tarefa
4. Treinamento - Perguntas práticas
5. Anotação - Tarefa principal
6. Pós-estudo - Pesquisas de feedback

phases:
  consent:
    enabled: true
    data_file: "data/consent.json"
  prestudy:
    enabled: true
    data_file: "data/demographics.json"
  training:
    enabled: true
    data_file: "data/training.json"
  poststudy:
    enabled: true
    data_file: "data/feedback.json"

Saiba mais sobre os Fluxos de Trabalho Multifásicos →

Mudanças de configuração da v2.0

Nova Estrutura de Configuração

O Potato 2.0 usa um formato de configuração mais limpo:

v1 (antigo):

data_files:
  - data.json
id_key: id
text_key: text
output_file: annotations.json

v2 (novo):

data_files:
  - "data/data.json"
 
item_properties:
  id_key: id
  text_key: text
 
output_annotation_dir: "output/"
output_annotation_format: "json"

Requisito de Segurança

Os arquivos de configuração agora precisam estar localizados dentro do task_dir:

# Valid - config.yaml is in the project directory
task_dir: "."
 
# Valid - config in configs/ subdirectory
task_dir: "my_project/"

Comparação Rápida

Guia de Migração

Atualizando sua configuração (v1 para v2)

1. Configuração de dados

   yamlCopy

   # Old
   id_key: id
   text_key: text
    
   # New
   item_properties:
     id_key: id
     text_key: text

2. Configuração de saída

   yamlCopy

   # Old
   output_file: annotations.json
    
   # New
   output_annotation_dir: "output/"
   output_annotation_format: "json"

3. Localização do arquivo de configuração Certifique-se de que o seu arquivo de configuração esteja dentro do diretório do projeto.

Iniciando o Servidor

# v2 command
python -m potato start config.yaml -p 8000
 
# Or shorthand
potato start config.yaml

Primeiros Passos

Pronto para experimentar o Potato? Comece pelo Guia de Início Rápido ou explore recursos específicos:

Recursos da v2.3:

• Anotação Agêntica - Avalie agentes de IA com 12 conversores e 3 tipos de exibição
• Modo Solo - Rotulagem colaborativa humano-LLM
• Escalonamento Melhor-Pior - Anotação comparativa com pontuação
• SSO e OAuth - Autenticação Google, GitHub e OIDC
• Exportação Parquet - Exportação de dados colunar

Recursos da v2.2:

• Anotação de Eventos - Estruturas de eventos n-árias
• Vinculação de Entidades - Vinculação a bases de conhecimento
• Triagem - Triagem rápida de dados
• Cadeias de Correferência - Correferência de entidades
• Árvores de Conversa - Anotação hierárquica de diálogos
• MACE - Estimativa de competência de anotadores
• Destaque de Opções - Orientação de opções assistida por IA
• Ordenação por Diversidade - Ordenação de itens baseada em embeddings
• Formatos de Exportação - CLI de exportação com 6 formatos
• Fontes de Dados Remotas - Carregamento de dados em nuvem
• Instrumentos de Pesquisa - 55 questionários validados

Recursos da v2.1:

• Exibição de Instâncias - Exibição de conteúdo multimodal
• Suporte Visual de IA - IA para anotação de imagens e vídeos
• Vinculação de Spans - Anotação de relações entre entidades

Recursos Principais:

• Suporte de IA - Assistência inteligente de anotação
• Aprendizado Ativo - Priorização inteligente de instâncias
• Anotação de Áudio - Anotação baseada em forma de onda
• Fase de Treinamento - Qualificação de anotadores
• Painel de Administração - Monitoramento e gerenciamento