Escalas de valoración

Una escala de valoración capta el grado —cuán positivo, cuán fluido, cuán útil— en lugar de una categoría. Las dos formas habituales son la escala Likert discreta (por ejemplo, 1–5) y el deslizador continuo. Pequeñas decisiones de diseño en una escala cambian tus datos más de lo que la gente espera.

Likert: puntos discretos

Usa una escala Likert cuando quieras valoraciones comparables y fáciles de agregar:

annotation_schemes:
  - annotation_type: likert
    name: fluency
    description: "How fluent is this translation?"
    size: 5
    min_label: "Not fluent at all"
    max_label: "Perfectly fluent"

Decisiones de diseño que importan:

• ¿Cuántos puntos? Cinco es un valor por defecto seguro. Siete da más resolución si los anotadores saben aprovecharla. Un número par elimina el punto medio neutral y obliga a inclinarse: útil cuando "neutral" es una excusa, arriesgado cuando la neutralidad es real.
• Etiqueta los extremos y, a ser posible, cada punto. Los puntos etiquetados se interpretan de forma más consistente que los números a secas.
• Mantén la dirección constante en todas tus escalas para que los anotadores no las inviertan por costumbre.

Deslizadores: valores continuos

Usa un slider cuando la magnitud subyacente sea realmente continua, como un porcentaje de confianza o una intensidad emocional:

annotation_schemes:
  - annotation_type: slider
    name: confidence
    description: "How confident are you in your label?"
    min: 0
    max: 100
    step: 1
    min_label: "Guessing"
    max_label: "Certain"

Las escalas continuas dan resolución pero menos concordancia, porque la gente no comparte una noción fina de "67 frente a 72". Agrupa la salida en intervalos si necesitas concordancia.

Sesgos que conviene prevenir en el diseño

• Sesgo de aquiescencia: la tendencia a estar de acuerdo. Intercala ítems con redacción invertida para que estar de acuerdo no sea la opción por defecto. Consulta el sesgo de aquiescencia.
• Tendencia central: el apiñamiento en torno al medio. Unas etiquetas claras en los extremos y, cuando proceda, un número par de puntos lo contrarrestan.
• Anclaje: los primeros ítems fijan una referencia. Un breve conjunto de calibración al inicio ayuda.

Más allá de una sola escala

• Valora muchos ítems en la misma escala de una vez con multirate (por ejemplo, cada documento recuperado). Consulta Evaluación de RAG.
• Puntúa varios criterios ponderados con rubric_eval. Consulta Evaluación de LLM basada en rúbricas.
• Las valoraciones de calidad de audio como el MOS usan el mismo mecanismo Likert; consulta Anotación de audio.

Lecturas adicionales

• Elegir un esquema de anotación
• Comparación por pares y escalado best–worst, cuando las comparaciones superan a las valoraciones
• La concordancia entre anotadores, explicada