Skip to content

Span एनोटेशन से hallucination पकड़ना

Potato में span एनोटेशन और MQM-शैली की एरर मार्किंग से मॉडल आउटपुट में hallucination और तथ्यात्मक ग़लतियाँ कैसे ढूँढें और लेबल करें।

Hallucination वह बात है जो मॉडल पूरे भरोसे के साथ कहता है, पर वह न उसके इनपुट से समर्थित होती है और न तथ्य से। उसे पकड़ने का सबसे उपयोगी तरीका है ठीक-ठीक वे शब्द हाइलाइट करना और यह लेबल करना कि उनमें ग़लत क्या है, यानी मॉडल आउटपुट पर एक span एनोटेशन कार्य। “यह जवाब ग़लत है” वाले एक फ़्लैग के मुकाबले span-स्तर के लेबल से कहीं ज़्यादा काम निकलता है।

पृष्ठभूमि के लिए hallucination (artificial intelligence) देखें।

पूरे जवाब के बजाय span क्यों चिह्नित करें

पूरे जवाब पर लगा “unfaithful” लेबल बताता है कि कुछ ग़लत है; span बताता है कि क्या ग़लत है और कहाँ। Span डेटा से आप हर एरर प्रकार की दर माप सकते हैं, पैटर्न ढूँढ सकते हैं, और लक्षित प्रशिक्षण डेटा बना सकते हैं। यह MQM (Multidimensional Quality Metrics) जैसा ही है, जो मशीन-अनुवाद मूल्यांकन से आया मानक एरर-span ढाँचा है।

एरर-span एनोटेशन सेट करना

yaml
annotation_schemes:
  - annotation_type: span
    name: errors
    description: "Highlight each problematic span and label the error type."
    labels: [unsupported_claim, factual_error, contradiction, fabricated_citation]
  - annotation_type: radio
    name: severity
    description: "How serious is the worst error?"
    labels: [Minor, Major, Critical]

गंभीरता का एक निर्णय भी जोड़ें, ताकि मामूली चूक और ख़तरनाक गढ़ंत को अलग-अलग वज़न दिया जा सके, जैसा MQM करता है।

एरर प्रकार तय करना

  • Unsupported claim: स्रोत से समर्थित नहीं (RAG वाला मामला)।
  • Factual error: स्थापित तथ्य के विपरीत।
  • Contradiction: उसी आउटपुट में पहले कही गई बात से टकराव।
  • Fabricated citation: ऐसा संदर्भ जो मौजूद ही नहीं है, या जिसमें वह लिखा ही नहीं जो दावा किया गया।

सेट छोटा रखें और हर प्रकार की एक-पंक्ति परिभाषा उदाहरण सहित दें, जैसा एनोटेशन दिशानिर्देश लिखना में बताया गया है।

दो सार्वजनिक डेटासेट यही करते हैं: FAVA जनित पाठ में बारीक hallucination span चिह्नित करता है, और SHROOM overgeneration की ग़लतियों पर एक साझा कार्य है।

गुणवत्ता से जुड़ी बातें

  • एनोटेटर को स्रोत सामग्री दें; उसके बिना unsupported की कोई परिभाषा ही नहीं बनती।
  • सीमा के नियम मायने रखते हैं, span पूरा वाक्य घेरेगा या सिर्फ़ ग़लत उपवाक्य? यह एक बार तय कर लें।
  • किनारे के मामलों में faithfulness व्यक्तिपरक होती है; ओवरलैप इकट्ठा करें और सहमति पर नज़र रखें।

आगे पढ़ें