Skip to content

Comparación de modelos por pares

Cómo comparar dos modelos o dos respuestas cara a cara con anotadores humanos, incluida la comparación multidimensional y los controles de sesgo, usando Potato.

Para decidir cuál de dos modelos es mejor, muestra a los anotadores una indicación y ambas respuestas y pregúntales cuál gana. Agregados sobre muchas indicaciones, estos juicios cara a cara clasifican los modelos de forma más fiable que las puntuaciones absolutas. Es el método que hay detrás de las tablas de clasificación públicas de modelos basadas en votos humanos.

Esto es la comparación por pares aplicada a las salidas de los modelos; muchas comparaciones pueden convertirse en una única clasificación con un modelo Elo o Bradley–Terry.

Cara a cara básico

yaml
annotation_schemes:
  - annotation_type: pairwise
    name: which_better
    description: "Which response is better overall?"
    mode: binary
    allow_tie: true

Comparación multidimensional

Un único "mejor" oculta los compromisos: el modelo A es más preciso, pero el modelo B es más claro. Compara en varias dimensiones a la vez:

yaml
annotation_schemes:
  - annotation_type: pairwise
    name: comparison
    description: "Compare the two responses on each dimension."
    mode: multi_dimension
    dimensions: [accuracy, helpfulness, safety]
    require_justification: true

Exigir una justificación hace que los datos sean auditables y saca a la luz los casos en que los anotadores premiaron lo que no debían.

Cómo controlar el sesgo

Los datos cara a cara solo valen lo que valgan sus controles de sesgo:

  • Sesgo de posición: aleatoriza qué modelo se muestra como "A"; de lo contrario, los anotadores favorecen un lado.
  • Sesgo de longitud/estilo: los anotadores suelen preferir el texto más largo o más seguro de sí mismo, al margen de su calidad. Nómbralo en las directrices.
  • Verborrea ≠ calidad: plantéate registrar la longitud para comprobar si está impulsando las victorias.
  • Concordancia: recoge solapamiento y haz seguimiento de la concordancia entre anotadores.

Comparación frente a rúbrica

Usa la comparación por pares cuando necesites una clasificación y busques una concordancia alta. Usa una rúbrica cuando necesites un perfil absoluto y por dimensión de cada modelo. Muchas evaluaciones aplican ambas.

Lecturas adicionales