كشف الهلوسة باستخدام تعليق المقاطع

الهلوسة عبارة واثقة يطرحها النموذج دون أن تدعمها مدخلاته أو الواقع. وأكثر الطرق فائدةً لالتقاطها هي إبراز الكلمات بدقة ووسم ما هو خاطئ فيها، أي مهمة تعليق المقاطع على مخرجات النموذج. التصنيفات على مستوى المقطع أكثر قابلية للتنفيذ بكثير من مجرد إشارة واحدة تقول "هذه الإجابة خاطئة".

للاطّلاع على الخلفية، انظر الهلوسة (الذكاء الاصطناعي).

لماذا توسم المقاطع لا الإجابات كاملةً

وسم الإجابة كاملةً بأنها "غير أمينة" يخبرك أن هناك خطأً ما، أما المقطع فيخبرك ما هو الخطأ وأين يقع. تتيح لك بيانات المقاطع قياس معدلات الخطأ حسب النوع، واكتشاف الأنماط، وبناء بيانات تدريب موجّهة. وهي تحاكي MQM (Multidimensional Quality Metrics)، وهو الإطار المعياري لمقاطع الأخطاء في تقييم الترجمة الآلية.

إعداد تعليق مقاطع الأخطاء

annotation_schemes:
  - annotation_type: span
    name: errors
    description: "Highlight each problematic span and label the error type."
    labels: [unsupported_claim, factual_error, contradiction, fabricated_citation]
    label_colors:
      unsupported_claim: "#f59e0b"
      factual_error: "#ef4444"
      contradiction: "#8b5cf6"
      fabricated_citation: "#ec4899"
  - annotation_type: radio
    name: severity
    description: "How serious is the worst error?"
    labels: [Minor, Major, Critical]

أضِف حكمًا على الخطورة كي تتمكّن من ترجيح الزلّة التافهة بشكل مختلف عن التلفيق الخطير، تمامًا كما يفعل MQM.

تعريف أنواع الأخطاء

• ادّعاء غير مدعوم: لا يسنده المصدر (حالة RAG).
• خطأ واقعي: يناقض حقيقة ثابتة.
• تناقض: يتعارض مع شيء ورد سابقًا في المخرجات نفسها.
• اقتباس ملفّق: مرجع غير موجود أو لا يقول ما يُنسب إليه.

أبقِ المجموعة صغيرة، وأعطِ كلًّا منها تعريفًا من سطر واحد مع مثال، وفق كتابة إرشادات التعليق.

اعتبارات الجودة

• زوّد المُعلّقين بالمادة المصدر؛ فلا يمكن تعريف "غير المدعوم" بدونها.
• قواعد الحدود مهمة: هل يغطي المقطع الجملة كاملةً أم العبارة الخاطئة فقط؟ احسم ذلك مرّة واحدة.
• الأمانة ذاتية عند الحالات الحدّية؛ اجمع التداخل وتابِع الاتفاق.

قراءات إضافية

• تقييم RAG
• تعليق المقاطع
• كيفية تقييم وكلاء الذكاء الاصطناعي