اكتشاف الهلوسات باستخدام وسم المقاطع

عندما يختلق النموذج شيئًا ما، فإن وضع علامة عدم استحسان على الإجابة بأكملها لا يخبرك بشيء يُذكر. أنت تعرف أنها خاطئة في مكان ما. لكنك لا تعرف أي جملة، أو أي نوع من الخطأ، أو مدى سوئه. ووسم المقاطع يعالج ذلك: فالواسم يظلِّل الكلمات الدقيقة ويسم ما هو خاطئ فيها.

وهذه هي الفكرة نفسها وراء MQM، إطار مقاطع الأخطاء الذي استخدمه تقييم الترجمة الآلية لسنوات. حدِّد المقطع، وصنِّف الخطأ، وقيِّم الخطورة. والنتيجة بيانات يمكنك التصرف بناءً عليها فعلًا.

لماذا تتفوق المقاطع على علامات الإجابة الكاملة

تسمية "غير أمين" على الإجابة بأكملها هي إحصائية ملخَّصة. أما المقطع فهو موقع وتشخيص. فبالمقاطع يمكنك قياس معدلات الأخطاء لكل نوع، ورصد الأنماط عبر مخرجات كثيرة، وبناء بيانات تدريب موجَّهة لنمط الفشل الذي يهمك. ولا شيء من ذلك ممكن عندما تكون وحدة الحكم هي الاستجابة بأكملها.

إعداد ذلك في Potato

ظلِّل النص الإشكالي، وسم نوع الخطأ، وأضف حكمًا على الخطورة حتى لا تُوزَن الزلة التافهة والاختلاق الخطير بالوزن نفسه.

annotation_schemes:
  - annotation_type: span
    name: errors
    description: "Highlight each problematic span and label the error type."
    labels: [unsupported_claim, factual_error, contradiction, fabricated_citation]
    label_colors:
      unsupported_claim: "#f59e0b"
      factual_error: "#ef4444"
      contradiction: "#8b5cf6"
      fabricated_citation: "#ec4899"
  - annotation_type: radio
    name: severity
    description: "How serious is the worst error?"
    labels: [Minor, Major, Critical]

القواعد التي تحدد جودة بياناتك

امنح الواسمين المادة المصدرية. فكلمة "غير مدعوم" غير قابلة للتعريف دونها، لذا يجب أن تكون المستندات أو السياق على الشاشة، وليس خلف علامة تبويب.

احسم قاعدة الحدود لديك مرة واحدة. هل يغطي المقطع الجملة بأكملها أم البند الخاطئ فقط؟ كلاهما قابل للدفاع عنه؛ اختر واحدًا ودوِّنه.

توقَّع الذاتية عند الحدود. تتباين أحكام الأمانة في الحالات الحدية، لذا اجمع تداخلًا على عينة وتحقَّق من الاتفاق قبل الوثوق بالأرقام.

إلى أين تتجه بعد ذلك

يوجد الشرح الكامل، بما في ذلك كيفية تعريف كل نوع من الأخطاء، في دليل اكتشاف الهلوسات. وللنسخة المؤسَّسة على الاسترجاع من هذه المشكلة، انظر تقييم RAG ودليل وسم المقاطع. وللتفاصيل التقنية، انظر وثائق مصدر مقاطع الأخطاء.