Skip to content

Cómo escribir directrices de anotación eficaces

Cómo redactar un manual de anotación que produzca etiquetas consistentes, con definiciones claras, ejemplos resueltos, reglas para casos límite y un ciclo de prueba piloto y revisión.

Las directrices de anotación (un "manual de codificación") son el reglamento que siguen los anotadores. Lo que más determina la calidad de las etiquetas es si las directrices hacen que dos personas cuidadosas elijan la misma etiqueta, no cuán detalladas sean. Un manual breve y preciso, con buenos ejemplos, supera a uno largo y vago.

Esto conecta con el análisis de contenido en las ciencias sociales, donde el diseño de manuales de codificación se ha estudiado durante décadas, y es lo que en última instancia determina tu fiabilidad entre evaluadores.

Qué contiene un buen manual

  • Una definición de una frase por etiqueta, más una línea sobre lo que la etiqueta no es. Las definiciones negativas evitan los desacuerdos más comunes.
  • Ejemplos resueltos, incluidos los casos límite. Los elementos reales de tus datos superan a los inventados.
  • Reglas de desempate. Cuando dos etiquetas podrían aplicar, di cuál gana. Aquí se gana o se pierde la consistencia.
  • Un valor por defecto para "cuando haya dudas" y una salida de emergencia (una opción de "no se puede determinar") para que los anotadores no adivinen en silencio.

Pon las reglas donde los anotadores las vean

Potato puede mostrar las instrucciones y las descripciones emergentes de cada etiqueta justo al lado de los controles, de modo que la directriz viva en el punto de decisión en lugar de en un documento aparte:

yaml
annotation_schemes:
  - annotation_type: radio
    name: toxicity
    description: "Is this comment toxic? Toxic = rude, disrespectful, or likely to make someone leave a conversation."
    labels: [Toxic, Not toxic, Can't tell]
    tooltips:
      Toxic: "Insults, threats, identity attacks, or harassment."
      Not toxic: "Disagreement or strong opinion without an attack."
      Can't tell: "Not enough context to judge."

La opción "Can't tell" importa: separa la ambigüedad genuina de las conjeturas forzadas, lo que mantiene honestas tus métricas de concordancia.

Prueba piloto y luego revisa

Las directrices nunca salen bien al primer intento. Haz una pequeña prueba piloto, revisa cada elemento en el que los anotadores discreparon y decide si la falta de claridad estaba en la directriz o si el elemento era genuinamente ambiguo. Corrige la directriz y vuelve a hacer la prueba. Dos o tres rondas suelen estabilizar el conjunto de etiquetas.

Los patrones de referencia y controles de atención de Potato te permiten codificar los casos ya resueltos como controles, para que los futuros anotadores sigan calibrados.

Lecturas adicionales