Etiquetado automático con IA, comparado: Label Studio, CVAT, Labelbox, Prodigy, Argilla y Potato

Las seis herramientas que se comparan aquí pueden importar o generar etiquetas de modelos y enviarlas a personas para su revisión, así que esta comparación se centra en lo que mide cada herramienta sobre las etiquetas que conserva. En la documentación que leímos en octubre de 2026, las herramientas informan de exactitud, precisión, exhaustividad o acuerdo frente a etiquetas verdaderas o entre anotadores como valores puntuales, y ninguna describe un intervalo ni una cota de error sobre la calidad de las etiquetas de máquina.

Aquí, etiquetado automático significa cualquier función que pone la etiqueta de un modelo en un ítem antes que la de una persona o en su lugar, ya sea el modelo un detector, un clasificador o un LLM al que se le da la tarea en un prompt. Todas las herramientas de esta comparación tienen alguna versión de esta función, y se diferencian en tres preguntas que conviene plantearse antes de elegir una:

1. Cómo entran las etiquetas de máquina en un proyecto: importadas como predicciones, generadas por un modelo conectado o producidas por un prompt de LLM dentro de la herramienta.
2. Cómo las revisa una persona, y si esa persona ve la respuesta del modelo mientras etiqueta.
3. Qué informa la herramienta sobre la frecuencia con la que se equivocan las etiquetas de máquina, frente a qué referencia y con qué incertidumbre.

Cada sección de abajo se basa en la documentación de la propia herramienta en octubre de 2026, enlazada allí donde se cita. Cuando no encontramos algo en la documentación, lo decimos, porque una función puede existir sin estar documentada.

Label Studio

Label Studio conecta modelos mediante un ML backend, un SDK que envuelve tu modelo como servidor web, e importa predicciones bajo una clave predictions con un model_version y un score. Las predicciones importadas no se pueden modificar, y la puntuación se aplica a la predicción completa. Las ediciones Enterprise y Starter Cloud añaden Prompts, que genera predicciones a partir de prompts de LLM y las puntúa, y la página de ML describe una función de Enterprise para el «etiquetado automático asistido por LLM y la evaluación de modelos».

La revisión es un flujo de trabajo de Enterprise. La guía de calidad afirma que «el flujo de trabajo de revisión de anotaciones solo está disponible en Label Studio Enterprise Edition», con acciones para aceptar, rechazar y corregir y aceptar, y una opción para ordenar las tareas por la confianza del modelo. Los ajustes de muestreo de la revisión se aplican como tasas probabilísticas, y el muestreo por incertidumbre envía primero a las personas las predicciones con menos confianza.

En cuanto a la calidad, Label Studio Enterprise compara las anotaciones y las predicciones del modelo con las etiquetas verdaderas «para calcular una puntuación de exactitud entre 0 y 1», y su matriz de acuerdo puede incluir versiones de modelos. Prompts informa de la exactitud global y del F1 frente a las etiquetas verdaderas, del número de tareas evaluadas y del coste de inferencia, cada uno como puntuación puntual. Su resumen de Prompts añade que «cuantos más datos tengas para la evaluación del prompt, más confianza puedes tener en los resultados», sin indicar ningún intervalo.

CVAT

La anotación automática de CVAT preanota los datos con un detector o un modelo de reidentificación, con un umbral de confianza opcional. Los modelos disponibles dependen de la edición. La tabla de modelos de IA recoge funciones de Nuclio para la edición Community, y modelos de terceros de Hugging Face y Roboflow y funciones nativas de agentes de IA para CVAT Online y Enterprise.

Para la revisión humana, CVAT tiene un modo de revisión para informar de problemas y una fase de validación, y el consenso fusiona el trabajo de varios anotadores en un único resultado con una puntuación de acuerdo de 0 a 1. El control de calidad con etiquetas verdaderas y honeypots de CVAT, marcado para CVAT Online y Enterprise, compara los trabajos de anotación con un trabajo de etiquetas verdaderas e informa de exactitud, precisión y exhaustividad. La documentación describe el método como estadístico, porque estima la calidad de todo el conjunto de datos a partir de una pequeña parte, y dice que «un 5-15% de los datos suele ser suficiente». El informe de calidad compara cada trabajo de la tarea con el trabajo de etiquetas verdaderas, así que solo puntúa la salida de la anotación automática como parte de lo que contienen esos trabajos, y no encontramos ningún informe que separe las anotaciones de máquina de las humanas.

Labelbox

Labelbox importa preetiquetas, que describe como «anotaciones sugeridas que se importan mediante programación en un proyecto de Labelbox» para que las revisen personas. Su función Foundry genera etiquetas con un modelo, con un umbral de confianza «que indica al modelo qué grado de certeza necesita antes de sugerir una etiqueta». Foundry está disponible en todos los planes salvo las suscripciones Educational.

La guía para usar las predicciones de Foundry propone dos formas de enviarlas a personas. Una filtra por confianza, por ejemplo enviando a revisión todo lo que esté por debajo de 0.75. La otra envía «una muestra aleatoria de predicciones para su revisión», lo que «te ayuda a detectar problemas sistémicos y a calcular métricas de exactitud globales». Las métricas de modelo de Labelbox calculan precisión, exhaustividad, F1, IoU y una matriz de confusión a partir de las predicciones y las etiquetas verdaderas, con umbrales de 0 a 1. Su página de funciones retiradas dice que la función Model experiments deja de estar disponible a partir del 15 de julio, sin indicar el año, mientras que la guía de métricas sigue enviando las métricas personalizadas al tipo Experiment, así que comprueba que las métricas de las ejecuciones de modelos siguen disponibles en tu espacio de trabajo.

Prodigy

Prodigy está construido en torno a un modelo en el bucle. Recetas como ner.correct muestran las predicciones de un modelo de spaCy para que una persona las corrija, ner.teach y textcat.teach dan preferencia a los ejemplos sobre los que el modelo está menos seguro, y ner.model-annotate registra las etiquetas de un modelo como si las hubiera hecho un anotador. Las recetas de LLM construidas sobre spacy-llm producen etiquetas para el mismo flujo de corrección, y la documentación advierte de que «las anotaciones del LLM pueden ser incorrectas. Conviene que sigas en el bucle para revisar las anotaciones».

La receta review resuelve los conflictos entre anotadores en una única anotación final, y las recetas metric.iaa.* informan del porcentaje de acuerdo, el alfa de Krippendorff y el AC2 de Gwet entre anotadores. La documentación no dice si hay que incluir las etiquetas model-annotate de un modelo en esas cifras de acuerdo. Para comparar prompts o modelos, ab.llm.tournament hace que las personas juzguen pares de salidas y clasifica las combinaciones con el sistema de puntuación Glicko. La página de precios de Prodigy recoge una licencia Personal y una Company con el mismo instalador, la misma aplicación web y los mismos plugins, y solo la licencia Company añade SSO con OpenID Connect.

Argilla

Argilla adjunta la salida de los modelos a los registros como sugerencias, cada una con una puntuación, el agente que la produjo y un tipo model o human. En la vista de anotación, las sugerencias aparecen como respuestas prerrellenadas marcadas con un icono de destello, con las puntuaciones de confianza visibles cuando el conjunto de datos las incluye. Argilla 1.x tenía un módulo de métricas que comparaba las respuestas con las sugerencias e informaba de métricas como la exactitud, el F1 y el alfa de Krippendorff. No encontramos informes de acuerdo ni de métricas de modelos en la documentación de Argilla 2.x. Los datos sintéticos y el feedback de IA, incluido el juicio con LLM, están en la biblioteca independiente distilabel.

Potato

Potato conecta LLM y modelos de visión mediante ai_support y, desde la versión 2.9, registra lo que respondió primero el modelo (pre_annotation_seeds) junto a lo que guardó el anotador (final_annotation), así que la tasa de aceptación sale de tus propios datos. icl_labeling le da a un LLM como ejemplos las anotaciones en las que tus anotadores ya coinciden, le hace etiquetar el resto y devuelve una muestra de sus etiquetas a personas para una verificación a ciegas, con la exactitud registrada por esquema.

Para un modelo o un juez LLM, la calibración de jueces de Potato mantiene las etiquetas del modelo donde los anotadores no pueden verlas, extrae una muestra aleatoria o estratificada para el etiquetado humano a ciegas e informa de la exactitud frente a la etiqueta de referencia humana, del kappa de Cohen para los pares persona-modelo, modelo-modelo y persona-persona, del alfa de Krippendorff y de la calibración como error de calibración esperado y puntuación de Brier. Comparar el kappa del modelo con el kappa entre los anotadores humanos te dice si el modelo lo hace más o menos igual de bien que otro anotador, como explica Acuerdo entre un juez LLM y personas. Solo Mode hace que un experto etiquete junto a un LLM y le pasa el resto del corpus cuando su acuerdo supera un umbral. Como en las demás herramientas, estas funciones dan estimaciones puntuales, y un intervalo sobre la tasa de error tiene que calcularse fuera de la herramienta, como describe la última sección.

Las seis herramientas frente a las tres preguntas

La tabla compara las seis herramientas en las tres preguntas, a partir de la documentación que cada proyecto había publicado en octubre de 2026:

Cómo comprobar las etiquetas de máquina en cualquier herramienta

Uses la herramienta que uses, la cifra que puedes defender sale de los mismos tres pasos. Extrae al azar los ítems para la comprobación humana, no del extremo de baja confianza, porque una muestra de los ítems más difíciles no dice nada sobre la tasa de error en el resto. Haz que las personas etiqueten esa muestra sin ver la respuesta del modelo, porque una sugerencia visible atrae la respuesta hacia ella. Después, informa de la tasa de error en la muestra con un intervalo de confianza, usando un intervalo para una proporción binomial como el de Wilson, para que un lector pueda ver si 200 etiquetas comprobadas respaldan la afirmación que haces.

El envío de muestras aleatorias de Labelbox, los fotogramas de etiquetas verdaderas elegidos al azar de CVAT (Online y Enterprise) y la muestra de calibración de jueces de Potato, que también puede ser estratificada, ya extraen al azar. En las demás herramientas, exporta un subconjunto aleatorio de identificadores de ítems, asígnalos como una tarea aparte con las predicciones ocultas y calcula el intervalo fuera de la herramienta.

Lecturas adicionales

• Herramientas de anotación con IA, comparadas, sobre la comparación de funciones más amplia
• Preanotación con LLM, sobre el sesgo de automatización cuando las personas revisan sugerencias
• Acuerdo entre un juez LLM y personas, sobre cómo comparar un juez con el acuerdo de las personas entre sí