Skip to content
Guides7 min read

Cómo medir con ítems ciegos el anclaje que las sugerencias de un LLM ejercen sobre los anotadores

Quien ve la etiqueta de un LLM etiqueta distinto de quien no la ve. Oculta la sugerencia en una muestra aleatoria y compara el acuerdo a ciegas y a la vista.

Potato Team

Un anotador que ve la etiqueta que sugiere un LLM tiende a dar esa etiqueta, así que el acuerdo entre las personas y el modelo es mayor cuando la sugerencia está en pantalla que cuando no lo está. Oculta la sugerencia en una muestra aleatoria de ítems, mide el acuerdo en esos ítems ciegos y usa el acuerdo a ciegas, en lugar del acuerdo global, para decidir hasta qué punto fiarte del modelo.

El anclaje es la tendencia de un número o una respuesta que se ve primero a atraer hacia sí un juicio posterior. En la anotación, el ancla es una preetiqueta, una sugerencia del modelo que el anotador acepta o corrige. El anclaje no es lo mismo que aprobar sin mirar, cuando un anotador acepta las sugerencias sin leerlas. Un anotador cuidadoso que lee todas las sugerencias puede quedar anclado igualmente, porque en un ítem ambiguo la respuesta sugerida ya está en la página. Las señales de tiempo detectan la aprobación sin mirar, como describe Agreement Cannot Catch Rubber-Stamping. Un anotador anclado, en cambio, puede dedicar a un ítem un tiempo normal, así que el tiempo no distingue el anclaje del juicio independiente.

Pruebas de que las sugerencias cambian las etiquetas

Un experimento prerregistrado (Schroeder et al., 2025) recogió 7000 anotaciones sobre tareas subjetivas de 350 trabajadores de crowdsourcing, en 4 condiciones, con 2 modelos y 2 conjuntos de datos. Mostrar sugerencias de un LLM no hizo más rápidos a los anotadores, pero sí aumentó la confianza que declaraban. Los anotadores aceptaron las sugerencias con la frecuencia suficiente para cambiar de forma significativa la distribución de etiquetas en comparación con los anotadores que no vieron ninguna. Cuando las etiquetas hechas con ayuda del LLM se usaron para evaluar ese LLM, su rendimiento medido aumentó de forma significativa.

Por tanto, el acuerdo entre un modelo y unos revisores que vieron sus sugerencias es en parte el acuerdo del modelo consigo mismo. Cualquier decisión que dependa de esa cifra, como pasarle al modelo el resto de un corpus cuando el acuerdo supera el 90%, se toma sobre una cifra inflada.

Ítems ciegos y la brecha de anclaje

Antes de empezar la anotación, elige una proporción aleatoria de ítems que el anotador etiquetará sin la sugerencia. En el resto, la sugerencia aparece como de costumbre. Comparar los dos grupos da tres cifras:

  • el acuerdo a ciegas, entre el modelo y las etiquetas dadas sin su sugerencia, que estima con qué frecuencia acierta el modelo;
  • el acuerdo a la vista, entre el modelo y las etiquetas dadas con su sugerencia en pantalla; y
  • la brecha de anclaje, el acuerdo a la vista menos el acuerdo a ciegas, que estima cuánto mueve la sugerencia a las personas.

Los ítems ciegos tienen que elegirse al azar y quedar fijos durante todo el estudio. Elegir los ítems más difíciles, o dejar que el anotador decida cuándo mirar, hace que la muestra ciega no sea representativa, y entonces el acuerdo a ciegas no estima nada sobre el resto del corpus. Además, una etiqueta solo cuenta como ciega si el anotador nunca vio una sugerencia para ese ítem, así que una reetiqueta tras un desacuerdo va con las etiquetas a la vista.

La proporción de ítems ciegos es un equilibrio entre rapidez y evidencia. Cada ítem ciego se etiqueta sin el tiempo que ahorra una sugerencia, y con muy pocos ítems ciegos el acuerdo a ciegas tiene mucho ruido. Los valores por defecto de Potato son una proporción del 20% con un mínimo de 20 ítems ciegos. Con esa proporción, un estudio de 20 ítems produce solo unos 4 ítems ciegos, así que ajusta el mínimo a lo que pueda dar el corpus.

Sugerencias a ciegas en Solo Mode

Solo Mode es la configuración de Potato para un experto que trabaja con un LLM. El LLM etiqueta el corpus, el experto etiqueta en paralelo y Solo Mode pasa los ítems restantes al LLM en cuanto el acuerdo del experto con él supera end_human_annotation_agreement. Antes de Potato 2.11, ese acuerdo se medía en etiquetas dadas con la sugerencia visible. Desde 2.11, solo_mode.suggestions controla cuándo aparece la sugerencia:

yaml
solo_mode:
  suggestions:
    display: blind_sample      # before_label | after_label | blind_sample
    blind_rate: 0.2
    minimum_blind_sample: 20

blind_sample oculta la sugerencia en un 20% fijo de los ítems, elegido una sola vez para el estudio, de modo que al recargar o reiniciar siguen siendo ciegos los mismos ítems. after_label nunca muestra la sugerencia primero y, cuando el experto y el LLM discrepan, la página de resolución muestra la etiqueta del LLM y su razonamiento. Cuando hay 20 comparaciones a ciegas, el traspaso compara con el umbral el acuerdo a ciegas en lugar del acuerdo global.

La tarjeta Blind Agreement del panel muestra uno junto a otro el acuerdo a ciegas y el acuerdo a la vista, la brecha entre ambos y con qué frecuencia el experto aceptó la sugerencia con el botón Accept. La brecha se muestra cuando cada lado tiene al menos 5 comparaciones. Una brecha positiva grande significa que el experto coincide con el LLM más a menudo cuando puede ver su respuesta. En ese caso, deja más ítems ciegos o cambia a after_label.

Calibración a ciegas en el motor de etiquetado

El motor de etiquetado de Potato, también nuevo en 2.11, aplica la misma regla a todas las etiquetas que usa como evidencia. Las peticiones de calibración, certificación y auditoría se extraen al azar con probabilidades de inclusión registradas y, mientras una persona tiene una asignada, el servidor retiene todas las respuestas de máquina de ese ítem. Las preanotaciones, el juez en línea y el asistente de IA quedan todos desactivados, y el ítem sigue siendo ciego para esa persona después de guardarlo. El motor certifica las etiquetas de máquina solo frente a estas etiquetas ciegas.

Las peticiones de verificación son el caso contrario. Muestran la respuesta de la máquina, piden a la persona que la mantenga o la cambie y registran la respuesta prerrellenada, para que puedas medir con qué frecuencia la aceptan las personas. El motor nunca usa las respuestas de verificación para certificar, porque están ancladas por construcción. Con humans.verify_visibility: blind, las peticiones de verificación también se sirven sin la respuesta, a costa del tiempo que ahorra una sugerencia.

Los límites de una muestra ciega

Una muestra ciega mide el modelo frente a personas sin ayuda, y esa es la referencia adecuada solo si las personas sin ayuda son fiables en la tarea. En una tarea subjetiva en la que anotadores cuidadosos discrepan entre sí, el acuerdo a ciegas tiene un techo por debajo del 100%, y un modelo puede estar justo en ese techo. Compara el acuerdo del modelo con las personas con el acuerdo de las personas entre sí, como describe Acuerdo entre un juez LLM y personas, antes de interpretar un acuerdo a ciegas bajo como señal de un modelo flojo.

Una muestra ciega tampoco cambia las etiquetas que se dieron con una sugerencia a la vista. Esas etiquetas siguen ancladas, y un conjunto de datos construido sobre todo con ellas hereda las preferencias del modelo. Publica el acuerdo a ciegas y la brecha de anclaje junto con el conjunto de datos, y define display: blind_sample antes de que se etiquete el primer ítem, porque los ítems etiquetados con la sugerencia visible no pueden volverse ciegos después.

Lecturas adicionales

Referencias

  1. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just put a human in the loop? Investigating LLM-assisted annotation for subjective tasks. Findings of ACL 2025. https://doi.org/10.18653/v1/2025.findings-acl.1323