Skip to content

تقييم RAG

كيفية تقييم التوليد المعزَّز بالاسترجاع عبر التعليق البشري، وصلة الاسترجاع، وإخلاص الإجابة، ومقاطع الاقتباس، باستخدام Potato.

يجيب التوليد المعزَّز بالاسترجاع (retrieval-augmented generation، RAG) عن سؤال باسترجاع المستندات أولًا ثم توليد إجابة منها. ويعني تقييم RAG الحكم على أمرين منفصلين: هل استرجع المستندات الصحيحة، وهل الإجابة مدعومة فعلًا بها؟ الخلط بينهما يُخفي المكان الذي يفشل فيه النظام.

انظر retrieval-augmented generation للخلفية.

الأشياء الثلاثة التي ينبغي تعليقها

  1. صلة الاسترجاع: لكل مستند مُسترجَع، هل هو ذو صلة بالاستعلام؟
  2. إخلاص الإجابة: هل الإجابة المُولَّدة متجذّرة في المستندات المُسترجَعة، دون ادّعاءات غير مدعومة؟
  3. دقة الاقتباس: هل تعود ادّعاءات الإجابة فعلًا إلى المصادر المُقتبَسة؟

إعداده في Potato

اجمع ثلاثة مخططات (schemes) في شاشة واحدة، قيّم كل مستند، قيّم إخلاص الإجابة، وأبرِز المقاطع المُشكِلة في الإجابة:

yaml
annotation_schemes:
  - annotation_type: multirate
    name: retrieval_relevance
    description: "Rate the relevance of each retrieved document to the query."
    labels: ["Irrelevant", "Somewhat", "Relevant", "Highly relevant"]
 
  - annotation_type: likert
    name: faithfulness
    description: "Is the answer faithful to the retrieved documents?"
    size: 5
    min_label: "Many unsupported claims"
    max_label: "Fully grounded"
 
  - annotation_type: span
    name: problems
    description: "Highlight any unsupported or incorrect claim in the answer."
    labels: [unsupported_claim, contradicted, hallucination]

يقيّم multirate مستندات كثيرة على المقياس نفسه دفعةً واحدة، أما مخطط المقاطع (span) فيحدّد بدقة أين تنحرف الإجابة عن مصادرها. انظر كشف الهلوسة.

لماذا نفصل الاسترجاع عن التوليد

يمكن أن يفشل نظام RAG بطريقتين: استرجع سياقًا سيئًا (مشكلة استرجاع) أو تجاهل سياقًا جيدًا (مشكلة توليد). إن منحَ كلٍّ منهما درجة على حدة يخبرك أيّ نصف ينبغي إصلاحه. ودرجة الإخلاص وحدها لا تستطيع ذلك.

اعتبارات الجودة

  • اعرض على المُعلّقين الاستعلام والمستندات والإجابة معًا، إذ لا يمكن الحكم على الإخلاص بمعزل عن المصادر.
  • تحتاج كلمة "ذو صلة" إلى تعريف: ذو صلة بالاستعلام، أم مُستخدَم فعلًا في الإجابة؟ احسم ذلك مسبقًا.
  • تتبّع الاتفاق على الإخلاص، فهو الأكثر ذاتيةً بين الثلاثة.

قراءات إضافية