Skip to content

Modelos de recompensa de proceso y etiquetado a nivel de paso

Cómo recopilar datos de recompensa de proceso (PRM) etiquetando los pasos de un agente como correctos o incorrectos, con los modos de primer error y por paso, en Potato.

Un modelo de recompensa de proceso (PRM) puntúa los pasos de razonamiento que da un agente, no solo su respuesta final. Entrenar uno requiere etiquetas a nivel de paso: para cada paso de una trayectoria, ¿fue correcto? Estos datos son los que permiten que un modelo aprenda a razonar bien, y no solo a dar con la respuesta correcta por suerte.

Los PRM contrastan con los modelos de recompensa de resultado (ORM), que solo puntúan el resultado final. Etiquetar a nivel de paso detecta el caso en que un modelo llega a la respuesta correcta mediante un razonamiento defectuoso. Para la referencia de la función, consulta Anotación de recompensa de proceso.

Dos modos de etiquetado

El tipo process_reward de Potato admite los dos esquemas estándar:

  • Modo de primer error: el anotador marca el primer paso que sale mal; cada paso posterior se trata automáticamente como comprometido. Rápido y bien adaptado a la forma en que los fallos de razonamiento se propagan en cascada.
  • Modo por paso: el anotador juzga cada paso de forma independiente como correcto o incorrecto. Más granular, más esfuerzo.
yaml
annotation_schemes:
  - annotation_type: process_reward
    name: step_rewards
    description: "Mark the first incorrect step. Steps after it are flagged automatically."
    steps_key: structured_turns
    mode: first_error
    first_error:
      correct_color: "#22c55e"
      error_color: "#ef4444"
      downstream_color: "#f97316"
      require_confirmation: true

Los colores hacen visible la cascada: los pasos verdes son buenos, el paso rojo es el primer error y el naranja marca los pasos posteriores que ahora resultan sospechosos.

Cuándo usar cada modo

  • Primer error para matemáticas, programación y razonamiento encadenado, donde un solo error invalida el resto. Más barato y normalmente suficiente.
  • Por paso cuando los pasos son independientes, o cuando necesitas una señal de recompensa densa para cada paso.

Consideraciones de calidad

  • Define con precisión qué es un "paso correcto": ¿correcto y útil, o simplemente no incorrecto? Un paso redundante pero inofensivo necesita una regla.
  • El razonamiento es subjetivo en los márgenes; recoge solapamiento en una muestra y comprueba la concordancia.
  • Combínalo con una etiqueta de resultado a nivel de trayectoria para poder estudiar dónde los buenos resultados ocultan un mal razonamiento. Consulta Anotar trayectorias de agentes.

Lecturas adicionales