جمع الخصائص الديموغرافية للمُعلّقين بمسؤولية: ماذا تسأل وكيف تسأله

تعامل معظم مشاريع التعليق المُعلّق بوصفه قابلًا للاستبدال: التصنيف تصنيف أيًّا كان من أنتجه. وهذا صحيح في كثير من المهام. وغير صحيح في كثير غيرها، ولحظة تقرّر أن تعرف من هم مُعلّقوك تكون قد تحمّلت مشكلة صغيرة في أخلاقيات البحث. البيانات الديموغرافية من أشدّ ما قد يسلّمك إياه شخص حساسيةً، وجمعها لأنها "قد تكون مفيدة" ليس سببًا كافيًا.

خلفية المُعلّق تشكّل التصنيفات في المهام الذاتية، فالخصائص الديموغرافية كثيرًا ما تستحق الجمع، لكن بموافقة مستنيرة، وسبب واضح لكل حقل، وطريقة سهلة للرفض، وخطة لإخفاء الهوية والتبليغ عمّا تجمعه. اجمع الحد الأدنى الذي يجيب عن سؤالك، وفضّل البطاريات المعيارية على الأسئلة المرتجلة، وتعامل مع الخصائص الديموغرافية بوصفها شيئًا ستوثّقه لا شيئًا ستخزّنه فحسب.

لماذا يظهر "مَن يصنّف" داخل التصنيفات

أوضح دليل على أن هوية المُعلّق تهمّ يأتي من مجموعة بيانات بُنيت لهذا السؤال بالضبط. جمع POPQUORN (Pei وJurgens، 2023) 45,000 تعليق من 1,484 مُعلّقًا اختيروا لمطابقة سكان الولايات المتحدة في الجنس والعمر والعِرق، ثم سأل ما إذا كانت الخلفية تتنبأ بكيفية تصنيف الناس. وهي تفعل. فالعمر والعِرق والتعليم كانت عوامل ذات دلالة إحصائية في أحكام الإساءة والتهذيب؛ فالمُعلّقون السود، مثلًا، قيّموا التعليقات نفسها بأنها أشدّ إساءةً مما فعلت مجموعات أخرى. وذلك فرق حقيقي في كيفية قراءة الناس للنص نفسه لا ضوضاء تُسوّى بالمتوسط.

تسوية تقييمات المجموعات المتباينة في تصنيف ذهبي واحد يخفي النمط الذي كانت الخصائص الديموغرافية ستكشفه

يتصل هذا بنقطة أوسع عن الحقيقة المرجعية. يرى Plank (2022) أن التباين البشري في التصنيف حقيقي في الغالب لا خطأ، وإن كان التباين حقيقيًّا فمعرفة من أنتج أي تصنيف جزء من فهم البيانات. ففي مهمة ذاتية، التصنيف الذهبي المجمّع الواحد يمحو الاختلاف الذي كانت المعلومات الديموغرافية ستتيح لك رؤيته. (نتعمق في هذا في الاختلاف إشارة لا ضوضاء.)

فإن كانت مهمتك ذاتية بأي قدر، فتركيبة مجموعة مُعلّقيك خاصية من خصائص مجموعة بياناتك، ولا يمكنك التبليغ عنها ولا تدقيقها إن لم تسأل قط.

ماذا تجمع وماذا تترك

الإغراء أن تسأل عن كل شيء وتفرزه لاحقًا. قاوِمه. كل حقل ديموغرافي تجمعه حقل عليك تبريره وتأمينه والتبليغ عنه في النهاية، وبعضها حساس قانونيًّا: العِرق والإثنية والدين والرأي السياسي والبيانات الصحية فئات خاصة بموجب اللائحة العامة لحماية البيانات تحمل التزامات إضافية. والوضع الافتراضي ينبغي أن يكون أصغر مجموعة تجيب عن سؤالك الفعلي.

اختبار مفيد لكل حقل: هل يعقل أن يغيّر اختلافٌ على هذا البُعد طريقة تصنيف شخص لبياناتك، وهل ستحلّله فعلًا؟ إن كنت تعلّق الإساءة، فنتيجة POPQUORN تجعل العمر والعِرق والتعليم قابلة للدفاع. وإن كنت تعلّق ما إذا كانت جملة سليمة نحويًّا، فلا شيء من ذلك ينتمي إلى الاستمارة. والسمة التي لن تنظر إليها أبدًا خطر تحمّلته بلا مقابل.

ممارستان تُبقيان هذا نزيهًا:

• اربط كل سؤال بتحليل. قبل أن يدخل حقل الاستمارة، دوّن المقارنة التي تنوي إجراءها به. لا مقارنة، لا حقل.
• اجعل كل شيء قابلًا للتخطي. الأسئلة الحساسة تحتاج خيار "أفضّل عدم الإجابة" حقيقيًّا، لا زر اختيار إلزاميًّا. فالشخص الذي يشعر بأنه مُجبَر على الإفصاح إما ينسحب وإما يعطيك إجابة رديئة، وكلاهما أسوأ من فراغ.

ضبط الموافقة

جمع الخصائص الديموغرافية هو حيث يكفّ التعليق عن كونه مهمة بيانات ويصير عملًا على مشاركين بشر. والأساس هو الموافقة المستنيرة: قبل أن يجيب أحد عن سؤال ديموغرافي، ينبغي أن يعرف ما الذي تجمعه، ولماذا، ومن يراه، وأن بإمكانه التوقف في أي لحظة دون عقوبة. وهذا يعني عمليًّا صفحة يقرؤها المُعلّق ويوافق عليها قبل تحميل الأسئلة الديموغرافية، لا بندًا مدفونًا في جدار شروط خدمة.

بضعة أمور تجعل الموافقة حقيقية لا اسمية:

• مشاركة طوعية تفرضها الواجهة. حق الرفض لا يُحتسب إلا إذا كان الرفض سهلًا. "أفضّل عدم الإجابة" في كل بند حساس، وطريقة لمغادرة الدراسة دون خسارة أجر استحقّه المشارك بالفعل.
• مُصرَّح بها ذاتيًّا لا مستنتَجة. ينبغي أن تأتي الخصائص الديموغرافية من المُعلّق، لا أن تُخمَّن من اسمه أو موقعه أو كتابته. فالسمات المستنتَجة خاطئة كثيرًا وهي انتهاك للخصوصية أسوأ من السؤال.
• تخزين مجهول الهوية. افصل الإجابات الديموغرافية عن أي شيء يعرّف الشخص. تريد أن تستطيع القول "المقيّمون الذين عرّفوا أنفسهم بأنهم X قيّموا هذا أعلى" دون أن تستطيع الإشارة إلى الفرد المعني.

إن كنت تعمل عبر جامعة، فهذا عادةً حوار مع لجنة المراجعة المؤسسية، وستهتم اللجنة بهذه النقاط بالضبط. وإن لم تكن كذلك، فالنقاط تظل قائمة.

الموافقة تحرس الاستبيان الديموغرافي؛ وكل حقل حساس قابل للتخطي، وتُجهَّل الإجابات قبل بدء التعليق

البطاريات الديموغرافية المعيارية

حين تجمع خاصية ديموغرافية فعلًا، تكون صياغتها أهمّ مما تبدو. الأسئلة المرتجلة تنتج فئات لا تتطابق مع فئات أحد، ولا يمكن مقارنتها عبر الدراسات، وكثيرًا ما تؤطّر الخيارات تأطيرًا سيئًا، وأوضح ما يكون ذلك في الجنس والعِرق. والعلاج هو الاقتباس من أدوات أمضى علماء الاجتماع عقودًا في صقلها: فالبطاريات الديموغرافية في الدراسات الوطنية الأمريكية للانتخابات (ANES) أو المسح الاجتماعي العام (GSS) تعطيك صياغات أسئلة وخيارات إجابة مُختبَرة وقابلة للدفاع ومقارنة بجسم كبير من العمل القائم.

واستخدام بطارية معيارية يؤدي أيضًا جزءًا من العمل الأخلاقي عنك. فهذه الأدوات تتضمن أصلًا خيارات "أفضّل عدم الإجابة" وقد رُوجعت من حيث تعاملها مع الفئات الحساسة، فلست تعيد اختراع مجموعة خيارات كانت لجنة مراجعة ستؤشّر عليها.

اجمع ثم بلّغ

جمع الخصائص الديموغرافية ثم عدم ذكرها ثانيةً يُبطل الغرض. والسبب في جمع هذه البيانات أن تستطيع أنت، وكل من يستخدم مجموعة البيانات لاحقًا، رؤية من أنتج التصنيفات. ولهذا التبليغ صيغة معيارية: بيان البيانات (Bender وFriedman، 2018) يتضمن قسمًا عن الخصائص الديموغرافية للمُعلّقين تحديدًا كي يستطيع المستخدمون اللاحقون الحكم على مدى تعميم البيانات، وصحائف البيانات لمجموعات البيانات (Gebru وآخرون) تطلب الشيء نفسه من أي مجموعة بيانات لتعلّم الآلة. خطّط للإصدار وأنت تخطّط للجمع: توزيعات مجمّعة، لا سجلات فردية أبدًا، وبتفصيل يكفي ليعرف القارئ ما إذا كانت مجموعتك تشبه السكان الذين سيخدمهم نموذجك. ونغطي هذا الطرف في توثيق مجموعة بيانات التعليق لديك.

كيف تفعل ذلك في Potato

بُني Potato جزئيًّا لهذا. فـPOPQUORN هي مجموعة بيانات "Potato-Prolific"، جُمعت بتشغيل دراسات Potato على Prolific، فتدفق الموافقة والخصائص الديموغرافية مدمج لا ملحق.

الاستقبال هو سير عمل متعدد المراحل: مرحلة consent تحرس الدراسة، ثم مرحلة prestudy تجمع الخصائص الديموغرافية، ثم التعليق نفسه.

phases:
  consent:
    enabled: true
    data_file: "data/consent.json"
 
  prestudy:
    enabled: true
    data_file: "data/demographics.json"
 
  # annotation phase is always enabled

صفحة الموافقة سؤال يحمل right_label، وهو الجواب المطلوب للمتابعة. ولا يصل أحد إلى الأسئلة الديموغرافية أو المهمة دون أن يوافق أولًا.

[
  {
    "name": "consent_agreement",
    "type": "radio",
    "description": "I have read the consent form, understand my responses are anonymized, and agree to participate. I may stop at any time.",
    "labels": ["I agree", "I do not agree"],
    "right_label": "I agree",
    "required": true
  }
]

أما الخصائص الديموغرافية نفسها، فأعطِ كل سؤال حساس خيار "أفضّل عدم الإجابة" واتكئ على القوالب المدمجة في الفئات الشائكة:

[
  {
    "name": "age_range",
    "type": "radio",
    "description": "What is your age range?",
    "labels": ["18-24", "25-34", "35-44", "45-54", "55+", "Prefer not to answer"]
  },
  {
    "name": "ethnicity",
    "type": "select",
    "description": "Which best describes you? (optional)",
    "template": "ethnicity",
    "free_response": true,
    "free_response_label": "Prefer to self-describe"
  }
]

وإن كنت تفضّل ألا تكتب الأسئلة يدويًّا أصلًا، فـPotato يشحن أدوات استبيان مُتحقَّقًا منها، تشمل ثماني بطاريات ديموغرافية معيارية. وتوجيه مرحلة ما قبل الدراسة إلى الخصائص الديموغرافية في ANES أو GSS يعطيك الصياغات المُختبَرة مجانًا:

phases:
  prestudy:
    type: prestudy
    instrument: "anes-demographics"   # or gss-demographics, acs-demographics, ...

وعرض الخصائص الديموغرافية مع الموافقة نسخة جاهزة للتشغيل من هذا التدفق كله، وأدوات الاستبيان المُتحقَّق منها تغطي المكتبة الأوسع إن أردت قياس ما هو أكثر من الخصائص الديموغرافية.

وبمجرد تشغيل الدراسة، تُخزَّن الإجابات الديموغرافية لكل مُعلّق إلى جانب تصنيفاته، وهذا ما يتيح لك التحليل الذي برّر جمعها: فكّك الاتفاق حسب المجموعة، وافحص ما إذا كانت خاصية ديموغرافية تتنبأ بالتصنيفات كما وجد POPQUORN. ويبلّغ Potato عن كابا لكوهين وفلايس على التعليق، فتستطيع قياس ما إذا كان الانتماء إلى مجموعة يحرّك التصنيفات بدل التخمين. وحين تُصدر البيانات، تكون التوزيعات المجمّعة من مرحلة ما قبل الدراسة هي قسم الخصائص الديموغرافية للمُعلّقين في بيان بياناتك، مجموعةً سلفًا.

إلى أين بعد ذلك

• الاختلاف إشارة لا ضوضاء، لمعرفة لماذا يكون التباين الديموغرافي في التصنيفات هو ما تريد الاحتفاظ به غالبًا.
• توثيق مجموعة بيانات التعليق لديك، لتحويل الخصائص الديموغرافية المجموعة إلى بيان بيانات أو صحيفة بيانات.
• شرح اتفاق المُعلّقين، للإحصاءات التي تستخدمها في تحليل التصنيفات حسب المجموعة.
• إجراء دراسات التعهيد الجماعي على Prolific وMTurk، لتجنيد مجموعة متوازنة ديموغرافيًّا من الأساس.