एजेंट मूल्यांकन

यह खंड मॉडल के आउटपुट को लेबल करने की नहीं, समीक्षा करने की वस्तु मानता है। काम की इकाई प्रायः एक ट्रेस होती है: किसी एजेंट का एक रन, उसके टूल कॉल, बीच के चरण और अंतिम उत्तर सहित।

LLM-को-जज के रूप में कैलिब्रेशन और जज ↔ मानव संरेखण उस स्थिति को कवर करते हैं जहाँ आकलन मॉडल करता है और आपको जानना होता है कि उस पर कितना भरोसा करें। तीन-पैन ट्रेस मूल्यांकन (eval_trace) उस स्थिति को कवर करता है जहाँ आकलन कोई व्यक्ति करता है। CI मूल्यांकन बताता है कि इनमें से किसी को भी हर कमिट पर कैसे चलाएँ।

Potato मॉडल प्रशिक्षित नहीं करता। यहाँ जो बनता है वह लेबल, स्कोर और सहमति के आँकड़े हैं; उनके साथ आगे आप क्या करते हैं, वह इस टूल के बाहर होता है।