¿Cuántos anotadores necesitas?
Cómo decidir el número de anotadores y el solapamiento de un proyecto de anotación, equilibrando concordancia, coste y confianza estadística, con los ajustes de solapamiento de Potato.
No existe un único número correcto, pero la decisión se reduce a tres palancas: cuántas personas etiquetan cada elemento (solapamiento), qué tan clara es la tarea y tu presupuesto. Las tareas claras necesitan poco solapamiento; las subjetivas necesitan más. Esta guía ofrece reglas prácticas y los ajustes para aplicarlas.
Solapamiento frente a cobertura
Todo presupuesto de anotación se reparte entre dos objetivos:
- Cobertura: etiquetar más elementos distintos (cada uno una vez).
- Solapamiento: etiquetar los mismos elementos varias veces, lo que te aporta estimaciones de concordancia y la posibilidad de agregar.
No puedes maximizar ambos. Un patrón habitual: solapar por completo un subconjunto para medir la concordancia y luego anotar el resto una sola vez cuando ya confías en la tarea.
Reglas prácticas
- Tareas objetivas (categorías claras, alta concordancia): 1 anotador para la mayoría de los elementos, con un solapamiento de 2–3× sobre una muestra del 5–10 % para vigilar la calidad.
- Tareas moderadamente subjetivas: 3 anotadores por elemento, resueltos por voto mayoritario o MACE.
- Tareas muy subjetivas (ofensa, emoción, preferencia): más de 5 anotadores por elemento, y plantéate conservar la distribución completa de etiquetas en lugar de reducirla.
Más anotadores reducen la varianza de la etiqueta agregada de un elemento, con rendimientos decrecientes: pasar de 1 a 3 ayuda mucho más que pasar de 7 a 9.
Configurar el solapamiento en Potato
La asignación de tareas de Potato controla cuántos anotadores ven cada elemento y cómo se distribuyen los elementos.
automatic_assignment:
on: true
instance_per_annotator: 50 # how many items each person labels
labels_per_instance: 3 # how many annotators label each item (overlap)No olvides los controles de calidad
Aumentar el número de personas no ayuda si algunos anotadores no son fiables. Combina el solapamiento con estándares de referencia y comprobaciones de atención para poder ponderar o excluir el trabajo de baja calidad antes de agregar.