La concordancia entre anotadores, explicada

Una guía práctica sobre la concordancia entre anotadores: acuerdo porcentual, kappa de Cohen y de Fleiss, alfa de Krippendorff, cuándo usar cada métrica y cómo las reporta Potato.

La concordancia entre anotadores (IAA) mide con qué frecuencia anotadores independientes asignan la misma etiqueta. Es la evidencia estándar de que una tarea de anotación está bien definida y de que las etiquetas resultantes son fiables. Una concordancia baja suele significar que las directrices no son claras, no que los anotadores sean descuidados.

El tema general es la fiabilidad entre evaluadores. Potato calcula la concordancia en tiempo real en el panel de administración; consulta Control de calidad.

Por qué el acuerdo porcentual bruto no basta

La medida más simple es el acuerdo porcentual: la fracción de elementos que los anotadores etiquetaron de forma idéntica. El problema es que parte del acuerdo ocurre por azar. Si dos anotadores eligen "positivo" el 90 % de las veces, coincidirán la mayor parte del tiempo incluso etiquetando al azar. Las medidas corregidas por azar resuelven esto.

Un coeficiente corregido por azar tiene la forma:

text

        P_observed − P_expected
  κ =  ─────────────────────────
            1 − P_expected

donde P_observed es el acuerdo real y P_expected es el acuerdo esperado por azar. Un valor de 1 indica acuerdo perfecto; 0 indica un nivel equivalente al azar.

Las tres que de verdad vas a usar

Kappa de Cohen: dos anotadores, etiquetas categóricas. La elección clásica para una pareja.
Kappa de Fleiss: más de dos anotadores, etiquetas categóricas, cuando distintos elementos pueden ser juzgados por distintos evaluadores.
Alfa de Krippendorff: la opción más general. Funciona con cualquier número de anotadores, gestiona los datos faltantes y admite datos nominales, ordinales, de intervalo y de razón. Es lo que Potato reporta por defecto.

Usa kappa para parejas categóricas simples; recurre al alfa de Krippendorff cuando tengas muchos anotadores, solapamiento incompleto o etiquetas ordenadas/continuas (donde "equivocarse por uno" debería penalizar menos que "equivocarse por cuatro").

Cómo interpretar el número

No existe un umbral universal, pero una guía aproximada habitual para alfa/kappa es:

≥ 0,80: suficiente para confiar en los datos.
0,67–0,80: utilizable para conclusiones provisionales; investiga los desacuerdos.
< 0,67: revisa las directrices antes de confiar en las etiquetas.

Trata estos valores como un aviso para investigar, no como una barrera de aprobado/suspenso. Mira siempre qué elementos y qué etiquetas provocan el desacuerdo.

Cómo medirla en Potato

Haz que los anotadores se solapen en un subconjunto compartido y luego activa el informe de concordancia:

yaml

agreement_metrics:
  enabled: true
  # Krippendorff's alpha is reported in the admin dashboard.

Para tareas de tramos (span) y estructuradas, mide la concordancia en el nivel que te importa (coincidencia exacta del tramo frente a solapamiento), porque las métricas a nivel de documento ocultan los desacuerdos en los límites.

Cuando la concordancia es baja

Lee los elementos en desacuerdo: ¿la directriz es ambigua o el elemento es genuinamente difícil?
Afina las definiciones y añade los casos difíciles como ejemplos. Consulta Redacción de directrices de anotación.
Vuelve a hacer una prueba piloto. Si la concordancia sigue siendo baja en tareas genuinamente subjetivas, plantéate registrar el propio desacuerdo en lugar de forzar una única respuesta.