Skip to content

Modèles de récompense de processus et étiquetage au niveau des étapes

Comment recueillir des données de récompense de processus (PRM) en étiquetant les étapes d'un agent comme correctes ou incorrectes, avec les modes premier-erreur et par étape, dans Potato.

Un modèle de récompense de processus (PRM) note les étapes de raisonnement qu'un agent entreprend, et non seulement sa réponse finale. En entraîner un exige des étiquettes au niveau des étapes : pour chaque étape d'une trajectoire, était-elle correcte ? Ce sont ces données qui permettent à un modèle d'apprendre à bien raisonner, et pas seulement à tomber sur la bonne réponse par chance.

Les PRM s'opposent aux modèles de récompense de résultat (ORM), qui ne notent que le résultat final. Étiqueter au niveau des étapes permet de repérer le cas où un modèle arrive à la bonne réponse par un raisonnement défaillant. Pour la référence de la fonction, voir Annotation de récompense de processus.

Deux modes d'étiquetage

Le type process_reward de Potato prend en charge les deux schémas standard :

  • Mode premier-erreur : l'annotateur marque la première étape qui dérape ; chaque étape suivante est automatiquement considérée comme compromise. Rapide, et bien adapté à la façon dont les défaillances de raisonnement se propagent en cascade.
  • Mode par étape : l'annotateur juge chaque étape de manière indépendante, correcte ou incorrecte. Plus fin, plus d'effort.
yaml
annotation_schemes:
  - annotation_type: process_reward
    name: step_rewards
    description: "Mark the first incorrect step. Steps after it are flagged automatically."
    steps_key: structured_turns
    mode: first_error
    first_error:
      correct_color: "#22c55e"
      error_color: "#ef4444"
      downstream_color: "#f97316"
      require_confirmation: true

Les couleurs rendent la cascade visible : les étapes vertes sont bonnes, l'étape rouge est la première erreur, et l'orange marque les étapes suivantes désormais suspectes.

Quel mode choisir

  • Premier-erreur pour les mathématiques, le code et le raisonnement enchaîné, où une seule erreur invalide tout le reste. Moins coûteux et généralement suffisant.
  • Par étape lorsque les étapes sont indépendantes, ou lorsque vous avez besoin d'un signal de récompense dense pour chaque étape.

Points de qualité

  • Définissez précisément ce qu'est une « étape correcte » : correcte et utile, ou simplement pas fausse ? Une étape redondante mais inoffensive a besoin d'une règle.
  • Le raisonnement est subjectif aux marges ; recueillez du chevauchement sur un échantillon et vérifiez l'accord.
  • Associez-le à une étiquette de résultat au niveau de la trajectoire afin d'étudier où les bons résultats dissimulent un mauvais raisonnement. Voir Annoter les trajectoires d'agents.

Pour aller plus loin