Por que escolher o Potato?

Auto-hospedado, grátis: LangSmith, Galileo, Encord e Labelbox exigem contrato empresarial para a própria auto-hospedagem. A instalação local é um adicional que se negocia com o comercial, não uma edição que dá para baixar.

Todos os recursos, sem plano pago: A edição gratuita do Label Studio não traz nenhuma métrica de concordância, e o plano Starter hospedado de US$ 99 por mês também não. Concordância, benchmarks e pré-rotulagem com LLM são recursos Enterprise, com preço sob consulta. A CVAT libera honeypots e tarefas de ground truth de graça, mas guarda os relatórios de qualidade para as equipes pagantes.

Uma ferramenta para corpora e traços de agentes: Todas as plataformas de avaliação de agentes aqui estão presas a traços. Nenhuma consegue rotular o sentimento de um corpus, marcar uma entidade ou aplicar um questionário.

Grafo multiagente que dá para anotar: Várias ferramentas desenham um grafo de interação entre agentes. Todas são telas de depuração apenas para leitura. No Potato, os agentes e as passagens entre eles são objetos que uma pessoa rotula.

Atribuição de falhas rotulada por pessoas: A Galileo infere falhas de passagem com um LLM e a Labelbox pontua passos da trajetória. Nenhuma das duas coleta a referência humana contra a qual essas inferências precisariam ser conferidas.

Concordância corrigida pelo acaso (κ, α): As demais medem concordância como percentual de sobreposição, IoU ou voto majoritário. A Prodigy oferece o α de Krippendorff e o AC2 de Gwet, mas não tem plano gratuito. A Langfuse calcula o κ de Cohen entre uma pessoa e um juiz, não entre um grupo de anotadores.

Exportação SFT, DPO e de recompensa por etapa: Parcial quer dizer apenas JSONL no estilo SFT, sem formato de pares de preferência nem de recompensa por etapa.

Concordância corrigida pelo acaso sobre geometria: A afirmação mais forte desta tabela. O motor de consenso do CVAT e a etapa de consenso do V7 comparam anotadores com IoU bruto contra um limiar por classe, e a lista de métricas do Label Studio Enterprise é correspondência exata, diferença numérica, IoU e sobreposição de spans. Nenhum corrige pelo acaso, e isso importa: num corpus de objetos grandes e centrados, o IoU médio fica em torno de 0,95 independentemente de quem anotou.

Concordância sobre quando um evento acontece: IoU temporal e concordância de fronteiras, com a tolerância de emparelhamento reportada como uma varredura em vez de um único limiar. Concordância a 0,25 s e a 2 s são afirmações diferentes sobre os mesmos dados.

Telemetria de desenho (latência de aceitação, revisões): Tempo por forma, dinâmica do traço, número de revisões e latência ao aceitar uma sugestão de IA. Importa porque a concordância sobe quando anotadores aprovam pré-rótulos sem ler, então o tempo é o único sinal que separa revisar de aceitar. Nenhuma coordenada é registada.

Nuvens de pontos 3D e cuboides: O CVAT também faz isto, e os especialistas em 3D (Segments.ai, Kognic, Supervisely) vão mais longe, com sequências de nuvens de pontos e propagação de trajetos que o Potato não tem. O que o Potato acrescenta é o IoU 3D rodado exato entre anotadores.

Funciona sem pedidos externos: Cada folha de estilos, script, tipo de letra e ícone é servido a partir da instalação, nos 14 templates, verificado ao vivo com 62 pedidos e zero externos. Os modelos são transferidos uma única vez. «Parcial» significa auto-hospedável, mas a página renderizada continua a buscar recursos de terceiros.

Equipe de anotação gerenciada: Não temos. Você traz seus anotadores ou recruta pela Prolific. Se precisa de 50.000 itens rotulados até o mês que vem e não tem ninguém, Labelbox, Encord e Scale vendem isso e nós não.

Hospedado, nada para administrar: O Potato só roda auto-hospedado. Para algumas equipes é exatamente o objetivo, para outras é um custo real.