Multirate (Calificación Matricial)

Califica múltiples elementos en la misma escala en formato de matriz.

Anotación Multirate (Calificación Matricial)

El tipo multirate muestra múltiples elementos en un formato de matriz donde cada elemento se califica en la misma escala. Perfecto para evaluar múltiples dimensiones de un solo elemento.

Configuración Básica

yaml

annotation_schemes:
  - name: "aspect_ratings"
    description: "Rate each aspect of the response"
    annotation_type: "multirate"
    labels:
      - name: "Accuracy"
      - name: "Clarity"
      - name: "Helpfulness"
    options:
      - name: "1"
      - name: "2"
      - name: "3"
      - name: "4"
      - name: "5"

Opciones de Configuración

Campo	Tipo	Requerido	Descripción
`name`	string	Sí	Identificador único para la anotación
`description`	string	Sí	Instrucciones mostradas a los anotadores
`annotation_type`	string	Sí	Debe ser `"multirate"`
`labels`	array	Sí	Elementos a calificar (filas)
`options`	array	Sí	Opciones de la escala de calificación (columnas)
`size`	number	No	Alternativa a options: número de puntos de escala
`min_label`	string	No	Etiqueta para la calificación más baja
`max_label`	string	No	Etiqueta para la calificación más alta
`randomize`	boolean	No	Aleatorizar el orden de los elementos
`compact`	boolean	No	Usar diseño compacto

Ejemplos

Evaluación de Calidad de Respuesta

yaml

- name: "quality_assessment"
  description: "Rate each aspect of the AI response"
  annotation_type: "multirate"
  labels:
    - name: "Accuracy"
      tooltip: "Is the information factually correct?"
    - name: "Completeness"
      tooltip: "Does it fully address the question?"
    - name: "Clarity"
      tooltip: "Is it easy to understand?"
    - name: "Relevance"
      tooltip: "Does it stay on topic?"
  size: 5
  min_label: "Poor"
  max_label: "Excellent"

Calidad de Traducción

yaml

- name: "translation_quality"
  description: "Evaluate the translation quality"
  annotation_type: "multirate"
  labels:
    - name: "Fluency"
    - name: "Adequacy"
    - name: "Terminology"
    - name: "Style"
  options:
    - name: "1 - Unacceptable"
    - name: "2 - Poor"
    - name: "3 - Acceptable"
    - name: "4 - Good"
    - name: "5 - Excellent"

Dimensiones de Reseña de Producto

yaml

- name: "product_dimensions"
  description: "Rate each aspect of the product"
  annotation_type: "multirate"
  labels:
    - name: "Build Quality"
    - name: "Value for Money"
    - name: "Ease of Use"
    - name: "Customer Support"
    - name: "Documentation"
  size: 5
  min_label: "Very Poor"
  max_label: "Excellent"
  randomize: true

Formato de Salida

La anotación multirate produce un diccionario que mapea cada elemento a su calificación:

json

{
  "id": "item_1",
  "annotations": {
    "aspect_ratings": {
      "Accuracy": "4",
      "Clarity": "5",
      "Helpfulness": "3"
    }
  }
}

Casos de Uso

Evaluación de LLM: Calificar respuestas en múltiples dimensiones de calidad
Evaluación de Traducción: Evaluar fluidez, adecuación y terminología
Reseñas de Productos: Capturar calificaciones en diferentes aspectos del producto
Investigación por Encuestas: Preguntas matriciales estilo Likert
Revisión por Pares: Calificar artículos en múltiples criterios

Mejores Prácticas

Limitar el número de elementos - 3-7 elementos funciona mejor; más causa fatiga
Usar escalas consistentes - Todos los elementos deben usar la misma escala de calificación
Ordenar elementos lógicamente - Agrupar dimensiones relacionadas juntas
Proporcionar definiciones claras - Usar tooltips para explicar cada dimensión
Considerar la aleatorización - Previene el sesgo de orden en las respuestas