Ferramentas de avaliação de agentes de IA comparadas: LangSmith, Langfuse, Phoenix e Potato

As ferramentas para avaliar agentes de IA são de dois tipos. As plataformas de observabilidade, entre elas LangSmith, Langfuse, Arize Phoenix, Braintrust e Opik, rastreiam um agente em produção e permitem que revisores atribuam pontuações a execuções e spans. Ferramentas de anotação como o Potato partem do estudo humano: vários revisores por trace, rótulos em cada passo e uma medida de quanto os revisores concordam entre si. As duas funcionam juntas. Continue rastreando onde você já rastreia, exporte as execuções que quer avaliar e conduza o estudo na ferramenta de anotação.

Um trace de agente, ou trajetória, registra cada passo que o agente deu: seu raciocínio, as ferramentas que chamou e o que elas retornaram. A avaliação humana pode pontuar a execução inteira, rotular cada passo ou comparar duas execuções lado a lado. Um LLM como juiz pontua traces automaticamente e precisa de rótulos humanos para ser conferido. Veja Como avaliar agentes de IA.

Esta página trata da avaliação de agentes e de LLMs. Ferramentas de anotação com IA, comparadas cobre todos os tipos de dados em uma só página.

Quais ferramentas de avaliação de agentes vale a pena comparar?

Auto-hospedagem e preço das ferramentas da nossa matriz de capacidades:

A revisão humana lado a lado

Um travessão significa que não encontramos nada sobre isso na documentação de anotação da ferramenta em agosto e setembro de 2026. Se uma célula estiver errada, avise-nos.

O que cada plataforma faz com as pontuações humanas

As filas de anotação do LangSmith aceitam chaves de feedback por rubrica, um número configurável de revisores por execução, filas em pares e revisores que não veem o feedback uns dos outros.

O Langfuse define pontuações por meio de configurações de pontuação e encaminha traces, observações e sessões aos revisores por filas de anotação. No fórum da comunidade, usuários relataram em novembro de 2025 que duas pessoas ainda não conseguiam anotar o mesmo trace de forma independente em uma fila, e o contorno discutido ali é uma configuração de pontuação separada para cada anotador (discussão #4348). O Langfuse consegue calcular o κ de Cohen entre uma pontuação humana e uma pontuação de juiz LLM, duas séries por vez.

O Arize Phoenix dá uma única estrutura às anotações humanas, de LLM e de código, com configurações de anotação que mantêm os rótulos consistentes entre revisões. Spans anotados podem ser exportados para um dataset, para experimentos ou para construir um avaliador alinhado ao julgamento humano.

O Braintrust associa pontuações de revisão humana a logs e experimentos. Sua documentação observa que ocultar uma pontuação de alguns revisores deixa a tela de revisão mais limpa e não é um controle de acesso, já que qualquer revisor pode revelar todas as pontuações.

O Comet Opik coloca traces e threads em filas de anotação que podem ser compartilhadas por link com especialistas no assunto, em uma tela de revisão feita para revisores sem formação técnica.

O W&B Weave registra feedback humano por meio de scorers de anotação humana, criados na interface ou pela API.

Não encontramos nenhuma estatística de concordância entre revisores humanos na documentação de anotação do LangSmith, do Langfuse, do Phoenix, do Braintrust ou do Opik, consultada em agosto e setembro de 2026. Cada um coleta julgamentos humanos como pontuações. Labelbox e Scale AI vendem dados de avaliação de agentes como serviços gerenciados, o que é uma compra diferente: eles também fornecem os revisores.

Onde o Potato é diferente

• Traces de muitos frameworks. Os conversores leem 15 formatos: ReAct, OpenAI, Anthropic, LangChain (que cobre exportações do LangSmith), Langfuse, logs multiagentes de CrewAI, AutoGen e LangGraph, SWE-bench, SWE-Agent, Claude Code, Aider, WebArena, Mind2Web e outras gravações de navegador, MCP, OpenTelemetry e ATIF.
• Rótulos em cada passo. O esquema trajectory_eval registra se cada passo estava correto, um tipo de erro de uma taxonomia hierárquica, uma gravidade e uma pontuação acumulada. Os mesmos rótulos são os dados de treinamento para modelos de recompensa de processo.
• Estrutura multiagente. Os revisores editam um grafo de interação, marcam o caminho crítico, atribuem uma falha a um agente e a um passo e revisam transferências. A visualização Agent Graphs do Langfuse renderiza uma execução multiagente como grafo para depuração, mas os revisores não podem anotá-la. Veja Como avaliar sistemas multiagentes.
• Concordância entre revisores. Cada trace pode ir para vários revisores que não veem os rótulos uns dos outros, e a concordância entre anotadores é informada. A calibração do juiz compara um juiz LLM com rótulos humanos às cegas. Veja Como medir a concordância entre um juiz LLM e anotadores humanos.
• Agentes de programação e de uso de computador. Diffs unificados com realce de sintaxe, saída de terminal e comentários de revisão ancorados em linhas. Execuções de uso de computador mostram capturas de tela com ancoragem de cliques. Veja Avaliação de agentes de programação e Avaliação de agentes de uso de computador.

Como levar traces para o Potato

Exporte da sua ferramenta de observabilidade as execuções que quer revisar e depois converta-as:

python -m potato.trace_converter \
  --input langfuse_traces.json \
  --output data/traces.jsonl \
  --input-format langfuse

Exportações de execuções do LangSmith usam --input-format langchain. Se um framework não estiver na lista, --auto-detect escolhe um conversor a partir dos nomes dos campos.

Uma tarefa de revisão por passo no Potato

annotation_schemes:
  - annotation_type: trajectory_eval
    name: step_evaluation
    description: "Evaluate each step for correctness and mark any errors."
    steps_key: steps
    error_types:
      - {name: reasoning, subtypes: [logical_error, factual_error, planning_error]}
      - {name: execution, subtypes: [wrong_tool, wrong_args, api_error]}
    severities:
      - {name: minor, weight: -1}
      - {name: major, weight: -5}
    show_score: true

Veja Anotando trajetórias de agentes para saber como projetar a taxonomia de erros.

O que o Potato não faz com agentes

• Não é um serviço de monitoramento de produção. Tem um SDK de rastreamento com exportação para OpenTelemetry, mas não tem nuvem hospedada nem painéis feitos para latência e custo do tráfego de produção. É apenas auto-hospedado.
• Não fornece revisores. Traga os seus ou recrute-os no Prolific.

Perguntas frequentes

Como o LangSmith e o Langfuse se comparam na revisão humana de traces de agentes?

Ambos associam pontuações humanas a traces e spans por meio de filas de anotação. O LangSmith é proprietário, pode ser auto-hospedado no plano Enterprise e aceita vários revisores por execução e filas em pares. O Langfuse tem licença MIT e é gratuito para auto-hospedar, e no fórum dele usuários relatam que duas pessoas ainda não conseguem pontuar o mesmo trace de forma independente em uma fila. Nenhum dos dois documenta uma estatística de concordância entre revisores humanos.

Existe uma alternativa de código aberto ao LangSmith para avaliar agentes?

Para rastreamento e pontuação, o Langfuse (MIT) e o Comet Opik (Apache-2.0) são de código aberto e gratuitos para auto-hospedar. Para estudos de avaliação humana, com vários revisores por trace, rótulos por passo e concordância, o Potato é de código aberto e gratuito. O Potato lê exportações do LangSmith e do Langfuse, então pode funcionar ao lado de qualquer um deles.

Como meço a concordância entre revisores humanos de traces de agentes?

Entregue cada trace a pelo menos dois revisores que não vejam os rótulos uns dos outros e calcule, por pergunta, o κ de Cohen para dois revisores ou o α de Krippendorff para mais. Rótulos por passo exigem primeiro alinhar os passos. Concordância entre anotadores, explicada trata da escolha do coeficiente.

Posso usar o Potato com traces do LangSmith ou do Langfuse?

Sim. python -m potato.trace_converter converte exportações de execuções do LangSmith com --input-format langchain e exportações do Langfuse com --input-format langfuse. Mantenha o rastreamento de produção onde está e traga para o Potato os traces que você quer avaliar.

Quais ferramentas de avaliação de agentes informam a concordância entre revisores humanos?

O Potato informa a concordância entre anotadores para os revisores, por pergunta. Não encontramos nenhuma estatística de concordância entre revisores humanos na documentação de anotação do LangSmith, do Langfuse, do Phoenix, do Braintrust ou do Opik. O Langfuse calcula o κ de Cohen entre uma pontuação humana e uma pontuação de juiz LLM, o que mede o juiz e não os revisores.

Quais ferramentas de rastreamento de LLM permitem associar pontuações de avaliação a spans individuais?

LangSmith, Langfuse e Arize Phoenix associam pontuações abaixo do nível de um trace inteiro. O LangSmith aceita feedback em qualquer execução de um trace, o Langfuse coloca pontuações em observações e o Phoenix anota spans. O Braintrust pontua logs e experimentos, e o Comet Opik pontua traces e threads inteiros. O Potato rotula cada passo de um trace importado com sua correção, um tipo de erro de uma taxonomia e uma gravidade, e informa a concordância entre os revisores que o rotularam.

Leituras adicionais

• Ferramentas de anotação com IA, comparadas, todos os tipos de dados em uma página
• Potato vs LangSmith e Langfuse para avaliação de agentes
• Ferramentas de anotação de texto comparadas
• Ferramentas de anotação de áudio comparadas
• Ferramentas de anotação de imagens comparadas
• Ferramentas de anotação de vídeo comparadas
• Ferramentas de avaliação de modelos de mundo e episódios de robôs comparadas