Skip to content

Recopilar datos de RLHF y de preferencias

Cómo recopilar datos de preferencias humanas para RLHF y alineación de modelos: comparaciones por pares, puntuación con rúbrica y justificaciones, con Potato.

El aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) entrena modelos para que se ajusten a las preferencias humanas. El dato central son los juicios humanos que comparan salidas del modelo, casi siempre "¿cuál de estas dos respuestas es mejor?". Recopilar bien esos datos es un problema de anotación, y es uno para el que Potato está hecho.

Consulta aprendizaje por refuerzo a partir de retroalimentación humana para más contexto.

La receta estándar: preferencia por pares

Muestra una instrucción y dos respuestas candidatas; el anotador elige la mejor. Estos juicios entrenan un modelo de recompensa que puntúa las salidas, lo que a su vez guía al modelo de política.

yaml
annotation_schemes:
  - annotation_type: pairwise
    name: preference
    description: "Which response better follows the instruction and is more helpful and harmless?"
    mode: binary
    allow_tie: true
  - annotation_type: text
    name: rationale
    description: "One sentence on why you chose it."
    label_requirement:
      required: false

Vale la pena recoger una justificación breve: te permite auditar los datos de preferencias y detectar casos en que los anotadores optimizaron lo que no debían (longitud, formato) en lugar de la calidad.

Consulta Comparación por pares y escalado de mejor–peor para la mecánica de la comparación, y Comparación de modelos por pares para evaluar modelos cara a cara.

Preferencias multidimensionales

Un único juicio de "cuál es mejor" oculta los compromisos. Para recoger señal sobre por qué gana una salida, puntúa varios criterios con una rúbrica:

yaml
annotation_schemes:
  - annotation_type: rubric_eval
    name: quality
    description: "Rate the response on each dimension."
    scale_points: 5
    criteria:
      - {name: Helpfulness, description: "Does it actually answer the request?"}
      - {name: Harmlessness, description: "Is it safe and appropriate?"}
      - {name: Honesty, description: "Is it accurate and non-misleading?"}

Consulta Evaluación de LLM basada en rúbricas.

Riesgos de calidad propios de los datos de preferencias

  • Sesgo de longitud y estilo. Los anotadores suelen preferir respuestas más largas o más seguras de sí mismas, al margen de su corrección. Nómbralo en las directrices y vigílalo.
  • Sesgo de posición. Aleatoriza cuál respuesta se muestra como "A".
  • Deriva de calibración. Vuelve a compartir ejemplos de referencia con cierta periodicidad para que los criterios no se desvíen a lo largo de una campaña extensa.
  • Concordancia. La preferencia es subjetiva; recoge solapamiento y haz seguimiento de la concordancia.

Lecturas adicionales