Skip to content

Evaluación de LLM basada en rúbricas

Cómo evaluar las salidas de un LLM frente a varios criterios ponderados (estilo MT-Bench) usando el tipo de evaluación con rúbrica de Potato.

Una rúbrica descompone un juicio vago («¿es esta una buena respuesta?») en criterios concretos y puntuables, utilidad, exactitud, completitud, tono, seguridad, cada uno valorado en una escala. Hace que la evaluación de un LLM sea repetible y revela por qué una respuesta supera a otra. Esta es la estructura que hay detrás de bancos de pruebas como MT-Bench.

Una rúbrica convierte la calidad subjetiva en una cuadrícula de criterios definidos y puntos de escala, lo que aumenta la concordancia y hace los resultados interpretables.

Cuándo usar una rúbrica

  • La salida es lo bastante rica como para que una sola puntuación pierda información.
  • Necesitas saber qué dimensión es débil (exactitud frente a tono), no solo un veredicto global.
  • Quieres criterios en los que las partes interesadas estén de acuerdo de antemano.

Si solo necesitas saber «cuál es mejor», una comparación por pares sale más barata. Las rúbricas valen la pena cuando necesitas un perfil absoluto y multidimensional.

Cómo configurarlo en Potato

yaml
annotation_schemes:
  - annotation_type: rubric_eval
    name: answer_quality
    description: "Rate the answer on each criterion."
    scale_points: 5
    criteria:
      - {name: Helpfulness, description: "Does it address the user's actual need?"}
      - {name: Accuracy,    description: "Is it factually correct?"}
      - {name: Completeness, description: "Does it cover the important points?"}
      - {name: Tone,        description: "Is the style appropriate?"}

Potato lo representa como una cuadrícula: los criterios en un lado y los puntos de escala a lo largo. Los anotadores puntúan cada celda.

Cómo redactar buenos criterios

  • Hazlos independientes. Los criterios que se solapan («útil» y «provechoso») se puntúan juntos y añaden ruido.
  • Ancla la escala. Describe cómo es un 1 y un 5 para cada criterio, no solo los extremos en conjunto.
  • Mantenlos breves. De cuatro a seis criterios suele ser el punto óptimo; las rúbricas largas fatigan a los anotadores y reducen la concordancia.

Rúbricas y el LLM como juez

La misma rúbrica que das a las personas puede servir de indicación a un «LLM juez» para una puntuación previa barata, y luego dejar que las personas la verifiquen, exactamente como en la preanotación con LLM. Conserva una muestra puntuada por personas para contrastar al juez, y vigila los sesgos propios del juez (longitud, formato, autopreferencia).

Lecturas adicionales