सिग्नल-आधारित ट्रायेज कतार

ट्रायेज कतार प्रति-आइटम गुणवत्ता सिग्नल के आधार पर एनोटेशन को प्राथमिकता देती है, ताकि समीक्षक सबसे खराब या सबसे संदिग्ध आइटम पहले देखें, न कि आगमन (FIFO) क्रम में काम करें। यह सिग्नल एजेंट की त्रुटि, प्रोडक्शन का थम्ब्स-डाउन, कम स्वचालित स्कोर, या कोई भी कस्टम फ़ील्ड हो सकता है। इसे स्थिर रूप से लोड किए गए डेटा और रनटाइम पर इनजेस्ट किए गए ट्रेस दोनों के लिए पढ़ा जाता है, और यह दो स्थानों पर दिखता है: एनोटेशन के दौरान एक बैनर और /admin/triage-queue रैंकिंग पृष्ठ।

जब मानव समीक्षा का समय कम हो, तो आइटम के एनोटेटर तक पहुँचने का क्रम मायने रखता है। सबसे जानकारीपूर्ण आइटम को पहले रूट करना सक्रिय मूल्यांकन लूप का ट्रायेज वाला हिस्सा है, और यह जज संरेखण के साथ स्वाभाविक रूप से जुड़ता है ताकि असहमतियाँ और त्रुटियाँ पहले लोगों के पास भेजी जा सकें।

एक प्राथमिकता बैज जो बताता है कि किसी आइटम को समीक्षा के लिए क्यों चिह्नित किया गया

कॉन्फ़िगरेशन

triage:
  enabled: true
  order: desc            # high priority first (default); 'asc' = low first
  default_priority: 0    # items matching no rule
  show_badge: true       # banner during annotation explaining the priority
  rules:                 # evaluated in order; highest matching priority wins
    - name: "Agent errored"
      badge: "Agent errored"     # banner text (defaults to name)
      priority: 100
      when:
        field: status            # dotted paths allowed, e.g. metadata.tags
        equals: error
    - name: "Negative feedback"
      priority: 80
      when:
        field: feedback
        in: [thumbs_down, negative]
    - name: "Low quality score"
      priority: 60
      when:
        field: score
        lt: 0.5
 
# Serve the highest-priority items first. If you enable triage without setting
# assignment_strategy, Potato defaults to `priority` automatically.
assignment_strategy: priority

यदि आप rules (और signal_field) छोड़ देते हैं, तो Potato एक रेडी-टू-यूज़ डिफ़ॉल्ट सेट का उपयोग करता है: त्रुटि स्थिति (100), नकारात्मक प्रतिक्रिया (80), और 0.5 से कम स्कोर (60)।

शर्त ऑपरेटर

किसी संख्यात्मक सिग्नल को सीधे पढ़ना

नियमों के बजाय, या उनके अतिरिक्त, आप किसी फ़ील्ड से सीधे एक संख्या पढ़ सकते हैं:

triage:
  enabled: true
  signal_field: quality_score   # used as the priority when no rule matches
  invert_signal: true           # lower score => higher priority

प्राथमिकता असाइनमेंट को कैसे संचालित करती है

assignment_strategy: priority सेट करें। जब किसी उपयोगकर्ता को आइटम की आवश्यकता होती है, तो कतार प्रत्येक आइटम के संग्रहीत triage_priority के अनुसार क्रमबद्ध की जाती है (डिफ़ॉल्ट रूप से अवरोही; order: asc इसे उलट देता है), और निर्धारकता के लिए बराबरी की स्थिति मूल लोड क्रम से सुलझाई जाती है, और शीर्ष आइटम असाइन किए जाते हैं। सिग्नल की गणना लोड या इनजेशन के समय एक बार की जाती है और आइटम पर संग्रहीत की जाती है, इसलिए असाइनमेंट सस्ता बना रहता है।

बैज (show_badge: true) रणनीति से स्वतंत्र है। यह बताता है कि किसी आइटम को क्यों चिह्नित किया गया, भले ही आप कोई अलग असाइनमेंट रणनीति रखें।

एडमिन कतार पृष्ठ

GET /admin/triage-queue              # JSON
GET /admin/triage-queue?format=html  # rendered page

X-API-Key हेडर भेजें। यह पृष्ठ हर शेष (अपूर्ण) आइटम को प्राथमिकता के अनुसार क्रमबद्ध करके दिखाता है, साथ ही उसे चिह्नित करने वाला नियम, वर्तमान एनोटेशन गणना, और क्या वह पहले से असाइन किया गया है।

रनटाइम इनजेशन

चूँकि स्कोरर आइटम जोड़े जाने के साथ चलता है, इसलिए ट्रेस इनजेशन (वेबहुक एंडपॉइंट या Langfuse पोलर) के माध्यम से रनटाइम पर इनजेस्ट किए गए ट्रेस आने के साथ ही स्कोर किए जाते हैं और स्वचालित रूप से प्राथमिकता कतार में आ जाते हैं। सत्र के बीच में धकेला गया कम-स्कोर या त्रुटिग्रस्त ट्रेस अभी भी प्रतीक्षारत साफ़ ट्रेस से आगे कूद जाता है।

टिप्पणियाँ और सीमाएँ

• प्राथमिकता प्रविष्टि के समय गणना की जाती है। triage.rules संपादित करना और पुनः आरंभ करना अगले लोड पर सब कुछ फिर से स्कोर करता है।
• एक खराब-गठित नियम एक चेतावनी लॉग करता है और छोड़ दिया जाता है; यह कभी भी डेटा लोडिंग को नहीं रोकता।
• ट्रायेज यह क्रम तय करता है कि कौन से आइटम परोसे जाएँ। यह प्रति-आइटम एनोटेशन सीमाओं को नहीं बदलता।

संबंधित

• जज ↔ मानव संरेखण — जज/मानव सहमति को मापें
• तीन-पैनल ट्रेस मूल्यांकन — आने वाले ट्रेस को जल्दी पढ़ें
• एजेंटिक एनोटेशन — ट्रेस इनजेशन और प्रदर्शन

कार्यान्वयन विवरण के लिए, स्रोत दस्तावेज़ देखें।