Skip to content

Estándares de referencia y comprobaciones de atención

Cómo usar elementos de referencia y comprobaciones de atención para detectar anotadores de baja calidad y mantener un proyecto calibrado, con configuración de Potato.

Los estándares de referencia y las comprobaciones de atención son elementos cuya respuesta correcta ya conoces. Mezclarlos en el flujo te permite medir la precisión de cada anotador y detectar a quienes van con prisas, están confundidos o intentan burlar la tarea. Son la primera línea del control de calidad de la anotación, sobre todo en el crowdsourcing.

Estándares de referencia

Un elemento de estándar de referencia tiene una respuesta verificada por un experto. Intercálalos y compara la respuesta de cada anotador con la respuesta conocida para obtener una puntuación de precisión por persona. Los elementos de referencia pueden ser silenciosos (solo para puntuar) o dar respuesta inmediata (para entrenar).

yaml
gold_standards:
  enabled: true
  items_file: "gold_standards.json"
  mode: mixed       # silent scoring + occasional feedback
  frequency: 20     # roughly one gold item per 20

Construye tu conjunto de referencia a partir de los casos inequívocos que resolvieron tus directrices. No uses como referencia elementos genuinamente ambiguos, porque penalizarías a buenos anotadores por elecciones razonables.

Comprobaciones de atención

Una comprobación de atención es un elemento con una respuesta obvia incrustada en la propia instrucción ("Selecciona 'En desacuerdo' para este elemento"). Atrapa a los anotadores que no están leyendo. Potato también puede marcar tiempos sospechosos, respuestas enviadas más rápido de lo que un humano podría leer.

yaml
attention_checks:
  enabled: true
  items_file: "attention_checks.json"
  frequency: 10

Cómo aprovechar la señal

  • Fija un umbral de precisión para aprobar. A los anotadores por debajo se les puede reentrenar o excluir.
  • Combínalo con una fase de entrenamiento. Exige una puntuación de aprobado en los elementos de referencia antes de empezar el trabajo real.
  • No te pases con las comprobaciones. Demasiadas molestan a los buenos anotadores e inflan el coste. Basta con una proporción pequeña y constante.

Para estimar la competencia de los anotadores e inferir etiquetas a partir del desacuerdo de forma estadística, consulta Adjudicación y desacuerdo y el soporte de MACE en Potato.

Lecturas adicionales