Skip to content

RAG मूल्यांकन

Potato में मानवीय एनोटेशन से retrieval-augmented generation का मूल्यांकन कैसे करें: retrieval की प्रासंगिकता, जवाब की faithfulness, और citation span।

Retrieval-augmented generation (RAG) किसी सवाल का जवाब पहले दस्तावेज़ खोजकर, फिर उन्हीं से जवाब बनाकर देता है। RAG को आँकने का मतलब है दो चीज़ें अलग-अलग परखना: क्या उसने सही दस्तावेज़ खोजे, और क्या जवाब सचमुच उन्हीं से समर्थित है? दोनों को एक में मिला देने पर यह छिप जाता है कि सिस्टम कहाँ चूक रहा है।

पृष्ठभूमि के लिए retrieval-augmented generation देखें।

एनोटेट करने लायक़ तीन चीज़ें

  1. Retrieval की प्रासंगिकता: खोजे गए हर दस्तावेज़ के लिए, क्या वह query से जुड़ा है?
  2. जवाब की faithfulness: क्या बना हुआ जवाब खोजे गए दस्तावेज़ों पर टिका है, बिना किसी असमर्थित दावे के?
  3. Citation की सटीकता: क्या जवाब के दावे सचमुच उन्हीं स्रोतों तक जाते हैं जिनका हवाला दिया गया है?

Potato में सेट करना

एक ही स्क्रीन पर तीन स्कीम मिलाएँ, हर दस्तावेज़ को अंक दें, faithfulness को अंक दें, और जवाब में गड़बड़ span हाइलाइट कराएँ:

yaml
annotation_schemes:
  - annotation_type: multirate
    name: retrieval_relevance
    description: "Rate the relevance of each retrieved document to the query."
    labels: ["Irrelevant", "Somewhat", "Relevant", "Highly relevant"]
 
  - annotation_type: likert
    name: faithfulness
    description: "Is the answer faithful to the retrieved documents?"
    size: 5
    min_label: "Many unsupported claims"
    max_label: "Fully grounded"
 
  - annotation_type: span
    name: problems
    description: "Highlight any unsupported or incorrect claim in the answer."
    labels: [unsupported_claim, contradicted, hallucination]

multirate एक ही पैमाने पर कई दस्तावेज़ों को एक साथ अंक दिलाता है; span स्कीम ठीक-ठीक वह जगह चिह्नित करती है जहाँ जवाब अपने स्रोतों से हट जाता है। देखें Span एनोटेशन से hallucination पकड़ना।

Retrieval और generation को अलग क्यों रखें

RAG सिस्टम दो तरह से चूक सकता है: उसने ख़राब context खोजा (retrieval की समस्या) या उसने अच्छे context को अनदेखा किया (generation की समस्या)। दोनों को अलग-अलग आँकने पर पता चलता है कि किस हिस्से को ठीक करना है। अकेला faithfulness अंक यह नहीं बता सकता।

गुणवत्ता से जुड़ी बातें

  • एनोटेटर को query, दस्तावेज़ और जवाब एक साथ दिखाएँ, स्रोतों के बिना faithfulness आँकी ही नहीं जा सकती।
  • “प्रासंगिक” की परिभाषा चाहिए: query से जुड़ा हुआ, या जवाब में सचमुच इस्तेमाल हुआ? यह पहले ही तय कर लें।
  • faithfulness पर सहमति की निगरानी रखें; तीनों में सबसे ज़्यादा व्यक्तिपरक यही है।

आगे पढ़ें