¿Por qué elegir Potato?

Autoalojado, gratis: LangSmith, Galileo, Encord y Labelbox exigen un contrato empresarial para el autoalojamiento. El despliegue local es un añadido que se negocia con ventas, no una edición que puedas descargar.

Todas las funciones, sin plan de pago: La edición gratuita de Label Studio no incluye ninguna métrica de acuerdo, y el plan Starter alojado de 99 $ al mes tampoco. El acuerdo entre anotadores, las evaluaciones comparativas y el preetiquetado con LLM son funciones Enterprise, con precio bajo consulta. CVAT regala los honeypots y las tareas de verdad de referencia, pero reserva los informes de calidad para los equipos de pago.

Una herramienta para corpus y trazas de agentes: Todas las plataformas de evaluación de agentes aquí están limitadas a trazas. Ninguna puede etiquetar el sentimiento de un corpus, marcar una entidad ni pasar una encuesta.

Grafo multiagente que puedes anotar: Varias herramientas dibujan un grafo de interacción entre agentes. Todas son vistas de depuración de solo lectura. En Potato los agentes y los traspasos entre ellos son objetos que una persona etiqueta.

Atribución de fallos etiquetada por personas: Galileo deduce los fallos de traspaso con un LLM y Labelbox puntúa los pasos de la trayectoria. Ninguno recoge la verdad de referencia humana con la que habría que contrastar esas deducciones.

Acuerdo corregido por azar (κ, α): Las demás miden el acuerdo como porcentaje de solapamiento, IoU o voto mayoritario. Prodigy sí incluye la α de Krippendorff y el AC2 de Gwet, pero no tiene plan gratuito. Langfuse calcula la κ de Cohen entre una persona y un juez, no entre un grupo de anotadores.

Exportación SFT, DPO y de recompensa por pasos: Parcial significa solo JSONL al estilo SFT, sin formato de pares de preferencia ni de recompensa por pasos.

Concordancia corregida por azar sobre geometría: La afirmación más fuerte de esta tabla. El motor de consenso de CVAT y la etapa de consenso de V7 comparan a los anotadores con IoU en bruto frente a un umbral por clase, y la lista de métricas de Label Studio Enterprise es coincidencia exacta, diferencia numérica, IoU y solapamiento de intervalos. Ninguno corrige por azar, y eso importa: en un corpus de objetos grandes y centrados el IoU medio ronda 0,95 sin importar quién anotó.

Concordancia sobre cuándo ocurre un evento: IoU temporal y concordancia de límites, con la tolerancia de emparejamiento reportada como un barrido en lugar de un único umbral. La concordancia a 0,25 s y a 2 s son afirmaciones distintas sobre los mismos datos.

Telemetría de dibujo (latencia de aceptación, revisiones): Tiempo por forma, dinámica del trazo, número de revisiones y latencia al aceptar una sugerencia de IA. Importa porque la concordancia sube cuando los anotadores aprueban sin mirar las pre-etiquetas, así que el tiempo es la única señal que separa revisar de aceptar. No se registra ninguna coordenada.

Nubes de puntos 3D y cuboides: CVAT también lo hace, y los especialistas en 3D (Segments.ai, Kognic, Supervisely) llegan más lejos, con secuencias de nubes de puntos y propagación de trayectorias que Potato no tiene. Lo que Potato añade es el IoU 3D rotado exacto entre anotadores.

Funciona sin peticiones salientes: Cada hoja de estilos, script, fuente e icono se sirve desde la instalación, en las 14 plantillas, verificado en vivo con 62 peticiones y cero externas. Los modelos se transfieren una sola vez. «Parcial» significa que se puede autoalojar, pero la página renderizada sigue pidiendo recursos de terceros.

Plantilla de anotadores gestionada: No la tenemos. Traes a tus propios anotadores o los reclutas por Prolific. Si necesitas 50.000 elementos etiquetados para el mes que viene y no tienes a nadie, Labelbox, Encord y Scale venden eso y nosotros no.

Alojado, nada que administrar: Potato solo funciona autoalojado. Para algunos equipos ese es justo el objetivo; para otros es un coste real.