Ir al contenido

Etiquetado asistido por un modelo entrenado con tus etiquetas

Cuándo ahorran tiempo las preetiquetas de un modelo entrenado con tus propias anotaciones, cómo anclan a los anotadores y cómo un grupo de exclusión mide el efecto.

El etiquetado asistido por un modelo acelera la anotación entrenando un modelo con las etiquetas que tus anotadores ya han dado y mostrando las predicciones del modelo sobre ítems nuevos como preetiquetas que confirmar o corregir. Como una preetiqueta también inclina al anotador hacia la respuesta del modelo, un estudio que use preetiquetas debe excluir a algunos anotadores y medir cuánto se desplazan las respuestas.

Novedad de la v2.14.0

Una preetiqueta es una etiqueta que un modelo propuso para un ítem antes de que ninguna persona lo etiquetara. El etiquetado asistido por un modelo, también llamado preetiquetado, es un flujo de trabajo con humano en el ciclo en el que los anotadores aceptan, editan o rechazan esas preetiquetas, y las etiquetas aceptadas y corregidas pasan a ser el conjunto de datos. Esta guía cubre el caso en que el modelo se entrena con las anotaciones del propio proyecto y se reentrena a medida que llegan más. La guía de preanotación con LLM y visión cubre las preetiquetas de un modelo general al que se da un prompt, y la guía de aprendizaje activo cubre cómo elegir qué ítems etiquetar a continuación.

En qué se diferencia un modelo entrenado con tus etiquetas de la preanotación con LLM

Un LLM o un modelo de visión preentrenado puede preetiquetar desde el primer ítem, guiado por un prompt y unos pocos ejemplos. Un modelo entrenado con tus etiquetas parte de cero y necesita antes un conjunto semilla de ítems etiquetados. El entrenador sklearn-text de Potato se niega a ajustar el modelo con menos de 10 ítems en la partición de entrenamiento, y los clasificadores de texto, de tokens y de imágenes de Hugging Face se niegan por debajo de 20. A cambio, el modelo entrenado aprende los límites entre etiquetas que tus anotadores trazan realmente sobre tus ítems. Cada ejecución se puntúa sobre ítems reservados que quedan fuera del entrenamiento, y la puntuación aparece en la página Training antes de que ningún anotador vea una preetiqueta. Un clasificador pequeño también se ejecuta en tu propia máquina sin coste por ítem.

Las sugerencias de un LLM pueden cubrir el inicio de un estudio mientras crece el conjunto semilla, y el modelo entrenado puede tomar el relevo cuando su puntuación sobre ítems reservados supere el acuerdo del LLM con las mismas etiquetas. El aprendizaje activo se combina con ambos, porque el aprendizaje activo elige el orden de los ítems y el preetiquetado cambia el trabajo sobre cada ítem.

Cuándo ahorran tiempo las preetiquetas

El preetiquetado ahorra tiempo cuando leer y confirmar una etiqueta es más rápido que producirla. En un experimento de etiquetado morfosintáctico con dos anotadores, Fort y Sagot (2010) midieron a un anotador en unos 7,5 minutos por cada 10 oraciones sin preanotación y en unos 2,5 minutos al corregir la salida de un etiquetador. Un etiquetador entrenado con solo 50 oraciones alcanzó una exactitud del 81,6 %, y el tiempo que ahorraron sus preanotaciones no difirió de forma significativa del que ahorró un etiquetador entrenado con 37 990 oraciones con un 96,4 %. Solo el etiquetador entrenado con 10 oraciones hizo la anotación significativamente más lenta que los demás, y ese etiquetador tenía un 66,5 % de exactitud. Lingren et al. (2014) encontraron ahorros de tiempo del 13,85 % al 21,5 % por entidad en la anotación de entidades nombradas clínicas, sin un cambio significativo en el acuerdo ni en el rendimiento de los anotadores. Mikulová et al. (2022) encontraron que la preanotación de un analizador sintáctico preciso hizo la anotación de dependencias más rápida y más coherente.

Para un modelo entrenado con las etiquetas del propio proyecto, el resultado de Fort y Sagot sugiere que un modelo entrenado con las primeras decenas de ítems etiquetados puede ahorrar ya tiempo. Un modelo todavía cercano al azar cuesta tiempo, así que las primeras preetiquetas deben esperar a una puntuación sobre ítems reservados muy por encima del azar.

Cuándo perjudican las preetiquetas

Las preetiquetas cambian las respuestas además de la velocidad. El anclaje es la atracción que una respuesta sugerida ejerce sobre un juicio posterior, y el sellado automático es aceptar sugerencias sin leerlas, una forma de sesgo de automatización. En el experimento de Fort y Sagot, la exactitud del anotador más preciso cayó del 98,1 % al 95,8 % con las preanotaciones del etiquetador del 81,6 %, y con el mejor etiquetador el mismo anotador cometió errores sistemáticos que coincidían con los del propio etiquetador (adjetivo en lugar de participio pasado). En un estudio preregistrado de sugerencias de LLM en tareas subjetivas, Schroeder et al. (2025) encontraron que los anotadores no se volvían más rápidos y aceptaban las sugerencias con la frecuencia suficiente para desplazar la distribución de etiquetas. La exactitud medida del LLM también subió cuando las etiquetas asistidas sirvieron de referencia de evaluación.

Reentrenar con preetiquetas aceptadas añade un bucle de retroalimentación. Una preetiqueta que el anotador guarda sin cambios pasa a ser la respuesta de ese anotador, y la siguiente ejecución de entrenamiento aprende de esa respuesta como de cualquier otra etiqueta. Un error que los anotadores aceptan vuelve así como dato de entrenamiento, y el siguiente modelo puede repetir el error en ítems nuevos. Las medidas de acuerdo no pueden detectar el bucle, porque los anotadores que aceptan la misma preetiqueta coinciden por construcción. Cómo distinguir la revisión del sellado automático describe señales de tiempo para los anotadores que aceptan sin leer, y medir cómo las sugerencias de un LLM anclan a los anotadores describe ítems ciegos para los anotadores que leen y aun así se dejan atraer.

Decisiones de diseño

Cuatro ajustes deciden si las preetiquetas ayudan en un estudio concreto: el umbral mínimo de confianza, los ítems que reciben preetiquetas, la proporción de anotadores excluidos y la frecuencia con que el modelo se reentrena.

Umbral de confianza

Por debajo de un umbral mínimo de confianza, una predicción se oculta y el anotador etiqueta el ítem desde cero. Un umbral más alto muestra menos preetiquetas y una proporción mayor de correctas. Un umbral significa algo solo cuando las confianzas del modelo están calibradas. Las predicciones de un modelo calibrado con una confianza de 0,8 son correctas aproximadamente el 80 % de las veces sobre ítems reservados. sklearn-text de Potato calibra de forma predeterminada las confianzas del clasificador cuando una ejecución tiene al menos 50 ítems de entrenamiento, con escalado de Platt por debajo de 1000 ítems y regresión isotónica a partir de ahí. Fija el umbral a partir de los ítems reservados, en la confianza por encima de la cual el modelo acierta con la frecuencia suficiente para que comprobar una preetiqueta sea más rápido que etiquetar el ítem.

Qué ítems reciben preetiquetas

Potato nunca preetiqueta los propios ítems de entrenamiento de un modelo, porque un modelo está seguro sobre los datos de entrenamiento por motivos que no dicen nada sobre los datos nuevos. Más allá de esa regla, mantén las preetiquetas fuera de los ítems con que se mide el acuerdo entre anotadores y fuera de los ítems gold. El acuerdo sobre ítems con una preetiqueta compartida mide la preetiqueta, y un ítem gold respondido con la preetiqueta en pantalla mide tanto al modelo como al anotador. Entre los ítems restantes, una cola de revisión ordenada de menor a mayor confianza pone a los anotadores sobre los probables errores del modelo. Una cola que sirve todos los ítems de menor a mayor confianza encaja en un estudio en el que todos los ítems siguen necesitando una etiqueta humana.

Excluir anotadores para medir el efecto

El anclaje se mide comparando las respuestas dadas con una preetiqueta con las dadas sin ella, por los mismos anotadores sobre el mismo tipo de ítem. ai_support.holdout de Potato retiene toda forma de asistencia en una proporción aleatoria de pares anotador-ítem, y las preetiquetas de entrenamiento están entre las formas retenidas. Potato sortea por par y no por ítem, y la mayoría de los ítems tienen entonces algunos anotadores asistidos y otros excluidos. Un hash con sal mantiene cada par en el mismo grupo tras un reinicio. Para los esquemas radio, multiselect, likert y select, la pestaña AI influence del panel de administración compara los dos grupos según la frecuencia con que las respuestas coinciden con el modelo, la frecuencia con que coinciden con gold y el acuerdo dentro de cada grupo. La pestaña informa de la diferencia en el acuerdo con el modelo con un intervalo bootstrap del 95 % cuando cada grupo tiene 10 respuestas sobre ítems con respuesta del modelo. Fija la proporción y la sal antes de que empiece la anotación, porque cambiar cualquiera de las dos a mitad del estudio vuelve a repartir los grupos. Medir la influencia de la IA lista todas las superficies de asistencia que retiene la exclusión.

Con qué frecuencia reentrenar

Reentrenar a menudo mantiene las preetiquetas al día con las últimas decisiones de las pautas y las correcciones, y cada reentrenamiento también sustituye las preetiquetas que ven los anotadores. auto_retrain de Potato inicia una ejecución cuando han llegado update_frequency anotaciones nuevas (25 de forma predeterminada) y han pasado min_interval_s segundos desde que terminó la última ejecución (600 de forma predeterminada). Un update_frequency mayor ahorra cómputo y mantiene estables las preetiquetas durante tramos de trabajo más largos. Mantén split_seed fijo durante el estudio, porque cambiar la semilla mueve ítems reservados al entrenamiento y hace que la puntuación sobre ítems reservados de una ejecución no sea comparable con la siguiente. Potato también pone todo ítem que un revisor corrigió en la partición de entrenamiento de todas las ejecuciones posteriores. Una corrección enseña entonces al siguiente modelo y nunca se usa para puntuarlo.

Etiquetado asistido por un modelo en Potato

El entrenamiento de modelos de Potato ajusta un modelo con las anotaciones del propio estudio desde la página Training del administrador, lo puntúa sobre ítems reservados y escribe de vuelta las predicciones del modelo en los ítems como preetiquetas. La escritura de vuelta muestra la respuesta del modelo preseleccionada en la página de anotación. Una preetiqueta pasa a ser la respuesta del anotador solo cuando este la edita o pasa al siguiente. Hasta entonces el ítem no cuenta como terminado. Estos bloques añaden etiquetado asistido por un modelo con reentrenamiento automático y una exclusión del 20 % a una configuración con un esquema radio llamado sentiment:

yaml
model_training:
  enabled: true
  auto_retrain:
    enabled: true
    trainer: sklearn-text
    schemas: [sentiment]
    update_frequency: 50
    min_interval_s: 600
  writeback:
    schemas: [sentiment]
    include_unlabeled: true
    min_confidence: 0.8
 
ai_support:
  holdout:
    fraction: 0.2
    salt: reviews-2026

writeback.schemas nombra los esquemas cuyas predicciones ven los anotadores. La lista está vacía de forma predeterminada, y los anotadores no ven predicciones hasta que la lista nombra un esquema. include_unlabeled: true también predice sobre ítems que nadie ha etiquetado todavía, y esos ítems son donde una preetiqueta ahorra tiempo. Sin este ajuste, una ejecución predice solo sobre los ítems reservados de la ejecución. Las predicciones por debajo de min_confidence se almacenan y no se muestran. El bloque de exclusión funciona con ai_support.enabled desactivado.

assignment_strategy: model_review sirve para su revisión los ítems preetiquetados de menor a mayor confianza, y assignment_strategy: llm_confidence sirve todos los ítems en ese orden. Un revisor registra un veredicto accept, correct o reject sobre cada preetiqueta. Una preetiqueta rechazada sale del ítem y no se vuelve a mostrar. DELETE /admin/training/api/runs/<run_id>/predictions retira todas las preetiquetas que escribió una ejecución. El modelo en el ciclo recorre paso a paso la escritura de vuelta, la cola de revisión, el orden de adquisición y auto_retrain, y la referencia original sobre la escritura de vuelta lista todas las comprobaciones que pasa una predicción antes de que un anotador la vea.

Más información

Referencias

  1. Fort, K., and Sagot, B. (2010). Influence of Pre-annotation on POS-tagged Corpus Development. Proceedings of the Fourth Linguistic Annotation Workshop, 56-63. https://aclanthology.org/W10-1807/
  2. Lingren, T., Deleger, L., Molnar, K., Zhai, H., Meinzen-Derr, J., Kaiser, M., Stoutenborough, L., Li, Q., and Solti, I. (2014). Evaluating the impact of pre-annotation on annotation speed and potential bias: natural language processing gold standard development for clinical named entity recognition in clinical trial announcements. Journal of the American Medical Informatics Association, 21(3), 406-413. https://doi.org/10.1136/amiajnl-2013-001837
  3. Mikulová, M., Straka, M., Štěpánek, J., Štěpánková, B., and Hajič, J. (2022). Quality and Efficiency of Manual Annotation: Pre-annotation Bias. Proceedings of the Thirteenth Language Resources and Evaluation Conference, 2909-2918. https://aclanthology.org/2022.lrec-1.312/
  4. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just Put a Human in the Loop? Investigating LLM-Assisted Annotation for Subjective Tasks. Findings of the Association for Computational Linguistics: ACL 2025, 25771-25795. https://doi.org/10.18653/v1/2025.findings-acl.1323