Skip to content

Process Reward Models und Labeling auf Schrittebene

Wie du Process-Reward-Daten (PRM) erhebst, indem du Schritte eines Agenten als richtig oder falsch labelst, mit First-Error- und Per-Step-Modus, in Potato.

Ein Process Reward Model (PRM) bewertet die Schlussfolgerungsschritte eines Agenten, nicht bloß dessen Endergebnis. Um eines zu trainieren, brauchst du Labels auf Schrittebene: War dieser Schritt in der Trajektorie richtig? Erst diese Daten bringen einem Modell bei, gut zu schließen, statt nur mit Glück bei der richtigen Antwort zu landen.

PRMs stehen im Gegensatz zu Outcome Reward Models, die allein das Endergebnis bewerten. Auf Schrittebene zu labeln fängt den Fall ab, in dem ein Modell über fehlerhafte Zwischenschritte zur richtigen Antwort kommt. Die Feature-Referenz steht unter Prozessbelohnungsannotation.

Zwei Labeling-Modi

Potatos Typ process_reward unterstützt die zwei gängigen Schemata:

  • First-Error-Modus: Die annotierende Person markiert den ersten Schritt, der schiefgeht; jeder Schritt danach gilt automatisch als kompromittiert. Schnell, und passend dazu, wie sich Fehlschlüsse fortpflanzen.
  • Per-Step-Modus: Die annotierende Person beurteilt jeden Schritt einzeln als richtig oder falsch. Feiner aufgelöst, aber aufwendiger.
yaml
annotation_schemes:
  - annotation_type: process_reward
    name: step_rewards
    description: "Mark the first incorrect step. Steps after it are flagged automatically."
    steps_key: structured_turns
    mode: first_error
    mode: first_error

Die Farben machen die Kaskade sichtbar: Grüne Schritte sind in Ordnung, der rote Schritt ist der erste Fehler, und Orange markiert die nun fragwürdigen Folgeschritte.

Welcher Modus wann

  • First-Error bei Mathematik, Programmierung und verketteten Argumentationen, wo ein Fehler den Rest entwertet. Günstiger und meist ausreichend.
  • Per-Step, wenn die Schritte voneinander unabhängig sind oder du für jeden Schritt ein dichtes Belohnungssignal brauchst.

Was die Qualität ausmacht

  • Definiere „richtiger Schritt“ genau: richtig und nützlich, oder bloß nicht falsch? Für einen redundanten, aber harmlosen Schritt brauchst du eine Regel.
  • Schlussfolgern ist an den Rändern subjektiv; erhebe auf einer Stichprobe Überlappung und prüfe die Übereinstimmung.
  • Kombiniere das mit einem Ergebnis-Label auf Trajektorienebene, damit du untersuchen kannst, wo gute Ergebnisse schlechte Schlussfolgerungen verdecken. Siehe Annotieren von Agenten-Trajektorien.

Weiterführende Lektüre