Noticias, tutoriales y novedades del equipo de Potato.
A full walkthrough from a folder of Whisper output to labeled speaker turns: choosing an annotation unit, handling diarization, writing the config, running the task, and exporting with the time alignment intact.
Majority vote throws away most of what your annotators told you. Item response theory gives every label a posterior probability and a confidence interval, estimates annotator ability and item difficulty, and finds broken codebook entries, with no gold labels and no LLM.
Potato 2.7 adds labels with error bars, live norming rooms, counterfactual boundary probes, peer-prediction scoring, local voice rationales, one-command dataset reports, and mobile annotation, none of which need an LLM. Plus multi-agent and multimodal agent evaluation.
Get notified about new tutorials, releases, and community highlights.
Un recorrido por la evaluación humana de agentes de computer-use y de GUI en Potato: juzgar cada acción, verificar el anclaje del clic sobre la captura de pantalla y revisar las llamadas a herramientas una a una.
Cómo encontrar por qué falló un sistema LLM multiagente usando Potato: el grafo de interacción, la atribución de fallos, la revisión de traspasos, los cuadros de mando por agente, la línea de tiempo de contención de herramientas y el etiquetado de comportamiento emergente.
El tiempo de revisión humana es el recurso más escaso en la evaluación de agentes. Potato 2.6 combina una cola de triaje basada en señales con la alineación juez-humano, para que las peores trazas lleguen primero a las personas y tu juez LLM siga mejorando.
La identidad del anotador moldea las etiquetas, así que los datos demográficos merecen recopilarse, pero solo con consentimiento, cuidado y un motivo. Una guía sobre qué preguntar, qué dejar en paz y cómo hacerlo en Potato.
A practical guide to deciding when an LLM can annotate your data, where model annotators fail, and how to combine automation with human verification in Potato.
Una mirada honesta sobre cómo elegir una herramienta de anotación de datos de código abierto, qué preguntas reducen realmente las opciones y dónde encaja Potato entre Label Studio, Prodigy, Doccano, brat y Argilla.
Potato now supports coding agent annotation with diff rendering, terminal output display, and process reward schemas. Import traces from Claude Code, Aider, and SWE-Agent.
Step-by-step guide to collecting per-step reward signals for PRM training using Potato. Covers first-error mode, per-step annotation, and export to training pipelines.
Compare Potato with LangSmith, Langfuse, Labelbox, and Scale AI for agent evaluation: trace rendering, per-step and multi-agent annotation, multimodal-agent review, coding agents, live observation, pricing, and self-hosting.
Set up multi-criteria rubric evaluation with custom criteria, configurable rating scales, and dimension weights for systematic AI agent evaluation using Potato's rubric_eval.
Cómo usar la visualización de trazas de agentes web de Potato para evaluar agentes autónomos de navegación web, con capturas de pantalla paso a paso, superposiciones SVG y esquemas de anotación por paso.
Potato 2.2.0 añade 9 nuevos esquemas de anotación, un sistema de exportación extensible, estimación de competencia MACE, 55 instrumentos de encuesta validados y fuentes de datos remotas.
Técnicas especializadas para anotar contratos, documentos judiciales y presentaciones regulatorias con experiencia en el dominio.
Mejores prácticas para anotar imágenes médicas usando las funciones estándar de anotación de imágenes de Potato.
Construye interfaces de comparación de imágenes lado a lado para clasificación de preferencias, pruebas A/B y evaluación de calidad.
Estamos emocionados de anunciar Potato 2.0 con funciones potenciadas por IA, soporte multimedia y capacidades de aprendizaje activo.
Crea interfaces de anotación personalizadas con plantillas HTML, estilos CSS e interactividad JavaScript.
Construye una tarea de anotación para aprendizaje de idiomas para calificar la calidad de pronunciación con reproducción de audio y escalas Likert.
Cómo calcular e interpretar el Kappa de Cohen, el Kappa de Fleiss y el Alpha de Krippendorff para tus proyectos de anotación.
Mejores prácticas para asegurar la calidad de anotación en proyectos de anotación, incluyendo estrategias prácticas que puedes implementar con y más allá de Potato.
Una visión general de los conceptos de anotación de seguimiento de múltiples objetos y cómo las capacidades de anotación de video de Potato pueden soportar flujos de trabajo básicos de seguimiento.
Crea una tarea de clasificación de emociones en audio con visualización de forma de onda, controles de velocidad de reproducción y escalas Likert.