Adjudicación y resolución del desacuerdo
Qué hacer cuando los anotadores discrepan: flujos de adjudicación, agregación por voto mayoritario y modelos estadísticos como MACE que ponderan a los anotadores según su competencia.
El desacuerdo es normal e informativo. Resolverlo significa convertir las etiquetas de varios anotadores en una única etiqueta fiable, ya sea mediante revisión experta, mediante agregación o mediante un modelo estadístico que pondera a los anotadores según su fiabilidad. Forzar una sola respuesta demasiado pronto descarta la señal sobre qué elementos son realmente difíciles.
Tres formas de resolverlo
-
Voto mayoritario. Simple y transparente: toma la etiqueta más común. Funciona bien cuando los anotadores son más o menos iguales y la tarea es clara, pero trata igual a un anotador descuidado que a uno cuidadoso.
-
Adjudicación experta. Deriva los elementos en desacuerdo a un experto que toma la decisión final. Lo más preciso, lo más caro. Úsala para los elementos que importan y donde la agregación no es fiable.
-
Agregación estadística. Modelos como MACE (Multi-Annotator Competence Estimation) infieren la fiabilidad de cada anotador a partir de su patrón de concordancia y producen una etiqueta ponderada de "mejor conjetura" más una puntuación de competencia por anotador. Esto reduce automáticamente el peso de quienes responden al azar sin revisar a mano cada elemento. Consulta la idea de fondo de los modelos de variable latente para etiquetas de crowdsourcing.
Un flujo de trabajo práctico
- Recoge anotaciones solapadas (varias personas por elemento).
- Agrega con voto mayoritario o MACE para obtener una etiqueta borrador y marcar los elementos con poca concordancia.
- Envía solo los elementos marcados a adjudicación experta.
- Realimenta lo que aprendas en las directrices.
Potato admite un flujo de adjudicación en el que un revisor ve todas las etiquetas de los anotadores una al lado de otra y registra la respuesta resuelta.
Cuando el desacuerdo es el dato
En tareas subjetivas, como el humor, la ofensa o la emoción, el desacuerdo persistente puede reflejar diferencias reales entre personas, no errores. En esos casos, plantéate conservar la distribución completa de etiquetas (a veces llamada etiquetas blandas o anotación perspectivista) en lugar de colapsarla en una sola respuesta. Potato admite capturar distribuciones en lugar de forzar el consenso.