Skip to content
Potato annotation tool

Anote qualquer coisa — texto, agentes e muito mais

O Potato é a primeira plataforma de anotação feita para avaliar agentes de IA. Importe rastros de qualquer framework, visualize as ações dos agentes de forma interativa e avalie com esquemas de anotação de nível acadêmico — tudo por meio de configuração em YAML.

Apresentado em·HCOMP 2024 (Melhor Demo)·EMNLP 2022

Comece em 4 passos

Da instalação à anotação em minutos.

1.
pip install potato-annotation
# Instale o Potato
2.
# Create your config.yaml
# Configure sua tarefa
3.
potato start config.yaml
# Inicie o servidor
4.
# Open localhost:8000
# Comece a anotar!

Tudo o que você precisa para anotar

Recursos robustos pensados para pesquisadores e equipes.

Avaliação de agentes

Avalie agentes de programação com renderização de diff, colete dados de treino para PRM, revise rastros de agentes web, acompanhe agentes em tempo real e faça revisão de código no estilo de PR do GitHub — tudo por YAML.

Mais de 30 tipos de anotação

Radio, multiseleção, likert, slider, texto, span, escala best-worst, comparação par a par, número, seleção, multirate, exibição pura, vídeo, imagem, áudio, caixa delimitadora, polígono, anotação em camadas, diálogo por turno, evento e taxonomia.

Com tecnologia de IA

Integração de LLM com OpenAI, Claude e Gemini para dicas inteligentes, destaque de palavras-chave, sugestões de rótulos, estimativa de competência MACE, destaque de opções e ordenação por diversidade.

Suporte a multimídia

Anote áudio com formas de onda, imagens com caixas delimitadoras e polígonos, e vídeo com controles de reprodução.

Aprendizado ativo

5 estratégias de consulta — amostragem por incerteza, seleção por diversidade, BADGE, BALD e ensemble híbrido — além de cold-start com LLM para selecionar instâncias de forma inteligente antes de existir qualquer rótulo.

Configuração sem código

Configure tudo em YAML. Não é preciso programar para criar interfaces de anotação sofisticadas.

Feito para todos os domínios

Texto, imagens, áudio ou vídeo — o Potato dá conta de tudo.

Processamento de linguagem natural
Visão computacional
Áudio e fala
IA conversacional
Multimodal
Biomedicina e ciências sociais
Avaliação de agentes

350+

Explore mais de 350 designs de anotação

Configurações prontas para uso, feitas pela comunidade.

Pronto para começar a anotar?

Junte-se a pesquisadores e equipes do mundo todo que usam o Potato.