المُعلّقون من نماذج اللغة مقابل البشر: متى تُؤتمِت مهمة تصنيف ومتى لا تفعل

يتكرر السؤال الآن في كل مشروع تصنيف: هل ما زلنا بحاجة إلى أشخاص لهذا، أم يكفي أن يقوم به نموذج؟ إنه سؤال وجيه. المُعلّقون من نماذج اللغة سريعون، ولا يتعبون، وتكلفتهم جزء يسير من تكلفة فريق تعهيد جماعي. الجواب يعتمد على المهمة، بطرق يمكنك توقّعها، والمشاريع التي تتعثّر هي عادةً تلك التي لم تتحقق قط.

النموذج اللغوي مُعلّق جيد حين تكون المهمة محددة جيدًا، والتصنيفات موضوعية، وبإمكانك قياسه مقابل عيّنة ذهبية بشرية. وهو مُعلّق ضعيف حين تكون التصنيفات ذاتية أو محمّلة ثقافيًّا أو جديدة إلى حدّ أنه لا وجود بعد لحقيقة مرجعية. الوضع الافتراضي الآمن هو أتمتة ما يؤديه النموذج بموثوقية، والتحقق من عيّنة من الباقي، وإبقاء الحالات الصعبة بأيدي البشر.

الأداء ينقسم بحسب نوع المهمة

النتائج تنقسم بحسب نوع المهمة. وجد Gilardi وAlizadeh وKubli (2023) أن ChatGPT تفوّق على عمال التعهيد الجماعي في الصلة والموقف وكشف الأُطُر، باتفاق أعلى وتكلفة تكاد تكون معدومة. لكن Ziems وزملاءه (2024)، الذين اختبروا 13 نموذجًا عبر 25 معيارًا في علوم اجتماعية حاسوبية، وجدوا الصورة متفاوتة: ففي مهام التصنيف تبلغ النماذج اللغوية اتفاقًا متوسطًا فقط مع البشر ونادرًا ما تتفوق على نموذج مضبوط بدقة، بينما في التفسير الحر تنتج غالبًا مخرجات تقرأ أفضل من الإجابات المرجعية للتعهيد الجماعي.

إذن سؤال "هل يستطيع نموذج لغوي تصنيف هذا؟" هو في الحقيقة سؤالان. هل هذا من نوع المهام التي تُبلي فيها النماذج حسنًا؟ وعلى بياناتي بالتحديد، هل يتفق النموذج فعلًا مع الناس؟ يمكنك الاستدلال على الأول من نوع المهمة. أما الثاني فعليك قياسه.

أين يفشل المُعلّقون من نماذج اللغة

الإخفاقات تتجمّع في أنماط، وهذا يعني أن بإمكانك توقّعها.

• التصنيفات الذاتية والثقافية. السُّمّية والإساءة والفكاهة والتهذيب والحكم الأخلاقي تتوقف على هوية القارئ. يعطي نموذج واحد إجابة واحدة مسطّحة حيث كان مجموع مُعلّقين متنوعين سيختلف بطرق مفيدة، وذلك الاختلاف كثيرًا ما يكون هو الإشارة التي أردتها.
• تحيّز منهجي في المقارنات. حين يحكم نموذج لغوي بين استجابتين، فهو ليس حكمًا محايدًا. وثّق Zheng وزملاؤه (2023) تحيّز الموضع (يفضّل الخيار المعروض أولًا)، وتحيّز الإطناب (يكافئ الإجابات الأطول)، وتحيّز تعزيز الذات (يفضّل النص بأسلوبه هو). وهذه التحيّزات متسقة، فهي تدفع مجموعة بياناتك كلها في اتجاه واحد بدلًا من إضافة ضوضاء.
• لا حقيقة مرجعية بعد. إذا كنت تبني مخطط ترميز جديدًا تمامًا، فليس هناك ما تتحقق به من النموذج، والتصنيف الخاطئ الواثق أسوأ من فجوة صريحة. المخططات الجديدة تحتاج مرمّزين بشريين أولًا، ولو لمجرد إنشاء المجموعة الذهبية.
• انجراف صامت. يتبدّل سلوك النموذج عبر مدوّنة طويلة وعبر الإصدارات. وبلا عيّنة ذهبية ثابتة تعيد الفحص مقابلها، لن تلاحظ توزيع التصنيفات وهو يتحرك من تحتك.

كل واحد من هذه يدفع إلى معاملة مخرجات النموذج بوصفها مسوّدة قوية لا تصنيفًا نهائيًّا.

النمط الذي ينجح

الترتيب العملي هو فرز: أرسل كل عنصر في المسار الذي يناسب صعوبته.

أتمِت ما يجيده النموذج، وتحقق من عيّنة، وأبقِ الحالات الصعبة مع البشر

شغّل النموذج أولًا على عيّنة ذهبية مصنّفة واقرأ الاتفاق لكل تصنيف على حدة، لا الاتفاق الإجمالي وحده. فحيث يتفق مع الناس، دعه يتولى تلك العناصر وافحص شريحة منها فحصًا موضعيًّا. وحيث يكون الاتفاق متوسطًا، أبقِ اقتراح النموذج لكن اجعل شخصًا يؤكد كل واحد منها. وحيث يكون التصنيف ذاتيًّا أو القرار عالي المخاطر، اترك الأمر للمُعلّقين البشريين واستخدم النموذج، على الأكثر، تلميحًا. تتغير النسب على امتداد المشروع كلما تعلّمت أين يمكن الوثوق بالنموذج، لكن الشكل يبقى نفسه.

هناك ضمانة واحدة تهمّ طوال الوقت: احتفظ بشريحة عمياء بشرية بحتة لا يمسّها النموذج أبدًا. هي مقياسك. فبدونها يستقر تحيّز الأتمتة، ويصير المتحققون يختمون الاقتراحات المعقولة دون تدقيق، ويرتفع الاتفاق المقيس بينما لا ترتفع الجودة الفعلية.

التكلفة والجودة

من السهل تأطير الأمر بوصفه نموذجًا رخيصًا مقابل بشر مكلفين، لكن هذا يخفي المقايضة الحقيقية. تصنيف النموذج يكاد لا يكلّف شيئًا في إنتاجه ويكلّف شيئًا حقيقيًّا في الوثوق به: المجموعة الذهبية التي بنيتها للتحقق منه، وجولة التحقق البشري، والفحوص الموضعية. تصنيف الإنسان يكلّف أكثر مقدّمًا وأقل في الوثوق به. في مهمة كبيرة وموضوعية يفوز النموذج في التكلفة الإجمالية بمجرد استهلاك تكلفة التحقق. أما في مهمة صغيرة أو ذاتية، فقد يكلّف عبء التحقق أكثر من أن يقوم الناس بالتصنيف مباشرةً. اعمل الحساب على مهمتك بدل افتراض أن النموذج أرخص.

كيف تفعل ذلك في Potato

بُني Potato لتشغيل سير العمل المختلط بدلًا من فرض خيار الكل أو لا شيء. فعّل دعم الذكاء الاصطناعي ليقوم نموذج بالتعليق المسبق، ثم دع الناس يتحققون:

ai_support:
  enabled: true
  endpoint_type: openai       # or anthropic, gemini, ollama, ...
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.2

يقترح النموذج تصنيفًا؛ ويؤكده المُعلّق أو يصححه، والتصنيف المُتحقق منه هو ما يُحفظ. أما التوجيه نفسه، فمخطط الفرز يتيح لشخص أن يمرّ سريعًا على اقتراحات النموذج، فيبقي الواضح منها ويؤشّر على الباقي لتعليق أدقّ.

ولقياس النموذج مقابل الناس، لا تملأ مسبقًا العناصر التي تحجزها لقياس الاتفاق. اترك شريحة عمياء، ودع البشر يصنفونها، وقارن باستخدام كابا لكوهين أو فلايس. ذلك الرقم، لكل تصنيف، هو ما يحدد المسار الذي ينتمي إليه كل جزء من مهمتك. ويغطي دليل التعليق المسبق ضمانات تحيّز الأتمتة بتفصيل أكبر.

قراءات إضافية

• كتيبات الترميز للمُعلّقين من الذكاء الاصطناعي، لتحويل مخطط ترميز إلى صيغة يستطيع نموذج لغوي تشغيلها.
• التعليق المسبق بنماذج اللغة والرؤية، لآليات اقتراحات النموذج والتحقق منها.
• هل يمكنك الوثوق بحَكَمك من نماذج اللغة؟، عن معايرة حَكَم من نموذج لغوي مقابل تقييمات بشرية.
• التعلّم النشط للتعليق، لإنفاق الجهد البشري على العناصر التي تعلّم النموذج أكثر شيء.