एजेंट मूल्यांकन
मनुष्यों और LLM निर्णायकों द्वारा एजेंट आउटपुट का मूल्यांकन: निर्णायक अंशांकन, ट्रेस समीक्षा, प्रक्षेप-पथ संपादन, प्रोग्रामेटिक मूल्यांकक और CI मूल्यांकन।
यह खंड मॉडल के आउटपुट को लेबल करने की नहीं, समीक्षा करने की वस्तु मानता है। काम की इकाई प्रायः एक ट्रेस होती है: किसी एजेंट का एक रन, उसके टूल कॉल, बीच के चरण और अंतिम उत्तर सहित।
LLM-को-जज के रूप में कैलिब्रेशन और जज ↔ मानव संरेखण उस स्थिति को कवर करते हैं जहाँ आकलन मॉडल करता है और आपको जानना होता है कि उस पर कितना भरोसा करें। तीन-पैन ट्रेस मूल्यांकन (eval_trace) उस स्थिति को कवर करता है जहाँ आकलन कोई व्यक्ति करता है। CI मूल्यांकन बताता है कि इनमें से किसी को भी हर कमिट पर कैसे चलाएँ।
Potato उन एजेंटों या निर्णायकों को प्रशिक्षित नहीं करता जिनका आप मूल्यांकन करते हैं। यहाँ जो बनता है वह लेबल, स्कोर और सहमति के आँकड़े हैं, और उन लेबलों पर कोई भी प्रशिक्षण इस टूल के बाहर होता है।