Noticias, tutoriales y novedades del equipo de Potato.
Un modelo de decisión puntúa cada opción en una pasada hacia delante, sin generar texto. Sirve de primer nivel antes de un LLM en preguntas con pocas opciones.
Seis herramientas de anotación comparadas: cómo entran las etiquetas de modelos y LLM, cómo las revisan las personas y qué informa cada una sobre su tasa de error.
Label Studio, CVAT, doccano, Argilla, INCEpTION y Potato comparados en servicios, base de datos, inicio de sesión y copias de seguridad, y alojamientos por coste.
Recibe avisos de nuevos tutoriales, versiones y novedades de la comunidad.
Many robot episodes end in partial success, and binary labels discard it. Annotation needs a timeline, min/max downsampling, and relabeling.
Click-to-segment and text prompting run in the browser with no GPU, using a verified encoder contract, a measured quantization, and a hand-written tokenizer.
Un juez LLM solo es tan fiable como las etiquetas humanas contra las que lo validaste. Pon la cadena de razonamiento de una persona junto a la de un modelo sobre el mismo elemento, y contrasta tu juez con etiquetas que llevan su propio intervalo de confianza.
Potato 2.7.1 lee directamente 21 formatos de transcripción y subtítulos, los carga desde archivos adyacentes junto a tu material y trae un conversor que convierte una carpeta de salida de ASR en un archivo de datos listo para anotar.
Cuando importa quién anota, un cuestionario validado supera a una pregunta que inventaste. Un recorrido por los 55 instrumentos de encuesta integrados en Potato y cuándo cada uno se gana un lugar en tu estudio.
Un conjunto de datos de anotación sin documentación es difícil de confiar y fácil de usar mal. Una guía sobre declaraciones de datos, hojas de datos y una lista de verificación para la publicación, y cómo Potato registra la mayor parte por ti.
Ya está disponible Potato 2.6: Modo QDA para codificación cualitativa, un flujo de trabajo de calibración y alineación de LLM-as-judge, edición de trayectorias que produce datos de entrenamiento SFT y DPO, un arranque 3 veces más rápido y una nueva licencia GPL-3.0-or-later.
La línea 2.6.x convierte a Potato en una plataforma de evaluación de agentes completa y gratuita: ingesta de trazas desde OpenTelemetry, LangGraph, CrewAI y AutoGen, anotación de equipos multiagente con un grafo de interacción interactivo, esquemas para agentes multimodales de GUI, voz y vídeo, además de una arena de modelos, gating en CI y curación.
La mayoría de las evaluaciones de agentes se detienen en una puntuación. El esquema trajectory_edit de Potato 2.6 permite a los anotadores reescribir un paso equivocado en lugar de calificarlo, y exporta cada corrección como objetivos de ajuste fino supervisado y pares de preferencia para DPO.
Annotating an agent's multi-step trace is harder than labeling a tweet. A guide to designing the taxonomy, measuring step-level agreement, and adjudicating disagreement, with a Potato config.
How to write an annotation codebook an LLM can actually follow, validate its labels against human coders, and keep a person in the loop, with a worked Potato config.
Detecta las alucinaciones y los errores factuales de un modelo resaltando las palabras exactas y etiquetando qué está mal, al estilo MQM, con anotación de fragmentos en Potato.
Tutorial para montar la observación de agentes de coding en vivo con Ollama, la API de Anthropic o el Claude Agent SDK. Incluye pausa, reversión, ramificación y exportación de trayectorias.
Configura la comparación por pares de agentes en Potato con tres modos: preferencia binaria, escala continua y juicio multicriterio por dimensión con justificación obligatoria.
Potato 2.4.0 trae revisión de trazas de agentes web, evaluación de agentes en vivo en tiempo real, una barra lateral de chat con LLM, exportación al Hub de HuggingFace, webhooks, SSO/OAuth y cinco estrategias de aprendizaje activo.
Potato 2.3.0 añade Solo Mode para el etiquetado conjunto entre humano y LLM, anotación de trazas de agentes, Best-Worst Scaling, inicio de sesión SSO y OAuth, exportación a Parquet y 15 proyectos de demostración.
Potato 2.1.0 trae el sistema de visualización de instancias, soporte de IA visual para anotación de imágenes y video, vinculación de spans, spans multi-campo y personalización de diseño.
Configura detección de objetos, pre-anotación y clasificación asistida por IA para tareas de imágenes y video con YOLO, Ollama, OpenAI y Claude.
Cómo configurar herramientas de dibujo de polígonos para segmentación de imágenes, con consejos para formas complejas y regiones superpuestas.
Cómo Potato reordena la cola de anotación según la incertidumbre del clasificador, con la configuración del muestreo, el arranque en frío y cuántos elementos aleatorios conviene dejar en la mezcla.
Configura el resaltado de palabras clave en Potato con un archivo fijo de palabras clave o con un asistente LLM de palabras clave, incluidos colores por etiqueta, distractores aleatorios y caché de respuestas.
Amazon Mechanical Turk cerró el 30 de septiembre de 2026. Cómo pasa a Prolific, SONA o CloudResearch Connect un estudio de Potato que se ejecutaba en MTurk, y qué se mantiene.
Construye una tarea de identificación de hablantes con formas de onda de audio, marcadores de tiempo y asignación de etiquetas de hablante.
Configura tareas de anotación de video con navegación precisa de fotogramas, marcadores de tiempo y etiquetado temporal de eventos.
Configura la clasificación de imágenes en Potato mostrando las imágenes con instance_display y recogiendo etiquetas con esquemas radio y multiselect, con controles de calidad incluidos.
Aprende a usar OpenAI, Claude o Gemini para proporcionar sugerencias y pistas inteligentes a tus anotadores.
Guía paso a paso para crear una tarea de reconocimiento de entidades nombradas en Potato, con la configuración de spans, colores de etiquetas, spans superpuestos, atajos de teclado y exportación a CoNLL.
Una inmersión profunda en los formatos de datos JSON y JSONL, con ejemplos para anotación de texto, imagen, audio y multimodal.