Agentenevaluation
Bewertung von Agentenausgaben durch Menschen und LLM-Judges: Judge-Kalibrierung, Trace-Review, Trajektorienbearbeitung, programmatische Evaluatoren und CI-Evaluation.
Dieser Abschnitt behandelt die Ausgabe eines Modells als etwas, das geprüft und nicht gelabelt wird. Die Arbeitseinheit ist meist ein Trace: ein Lauf eines Agenten mit seinen Werkzeugaufrufen, Zwischenschritten und der endgültigen Antwort.
Kalibrierung von LLM-as-Judge und Übereinstimmung Judge ↔ Mensch behandeln den Fall, dass ein Modell bewertet und Sie wissen müssen, wie weit Sie ihm trauen können. Drei-Fenster-Trace-Bewertung (eval_trace) behandelt den Fall, dass ein Mensch bewertet. CI-Bewertung behandelt, wie Sie eines von beiden bei jedem Commit ausführen.
Potato trainiert weder die Agenten noch die Judges, die Sie evaluieren. Alles hier erzeugt Labels, Scores und Übereinstimmungsstatistiken, und jedes Training auf diesen Labels geschieht außerhalb des Werkzeugs.