الاتفاق بين المُعلِّقين على الكائنات ثلاثية الأبعاد والمقاطع الزمنية وآثار الوكلاء

لقياس الاتفاق على التوسيمات المهيكلة، قارن البنى نفسها. طابِق الصناديق ثلاثية الأبعاد أو المقاطع الزمنية لكل مُعلِّق مع ما وضعه الآخر بمقياس IoU، واحسب الكائنات غير المتطابقة خلافاً، وقيّم أثر الوكيل خطوة بخطوة بحيث تكون كل خطوة وحدةً لحساب كابا أو ألفا.

من السهل تعريف الاتفاق بين المُعلِّقين حين يحصل كل عنصر على وسم واحد. لكن مهاماً كثيرة اليوم تعطي العنصر مجموعة من الأشياء بدلاً من ذلك، مثل متوازيات مستطيلات حول السيارات في مسح ليدار، أو مقاطع تحدّد متى يتكلم كل متحدث، أو حكماً على كل خطوة اتخذها وكيل. والمقياس المصمَّم لوسم واحد لكل عنصر عليه أن يختزل هذه البنى إلى شيء يستطيع مقارنته، والاختزال السهل، إلى أسماء الوسوم، يجعل كل زوج من المُعلِّقين متفقاً.

اتفاق تام من أسماء الوسوم

ذلك الاختزال يُبقي أسماء الوسوم ويُسقط كل ما عداها. فمُعلِّقان رسم كل منهما ثلاثة صناديق موسومة «سيارة» في مسح ليدار يُختزل كلاهما إلى «سيارة»، ويتفقان اتفاقاً تاماً حتى لو كانت صناديقهما في أماكن مختلفة.

كان مسار الاتفاق لكل مخطط في Potato، /admin/api/agreement، يفعل هذا مع المخططات المهيكلة قبل الإصدار 2.11، فكان كل زوج من المُعلِّقين يخرج باتفاق تام على آثار الوكلاء والمقاطع والمناطق والكائنات ثلاثية الأبعاد. والدرجة التامة في مهمة مكانية أو زمنية صعبة تعني عادةً أن المقياس فقد البنية. وفي 2.11 لم يعد ذلك المسار يُبلغ عن المخططات المهيكلة، ويحيل إلى تقرير الاتفاق الكامل على /admin/iaa، الذي يقارن البنى.

مطابقة الكائنات ثلاثية الأبعاد والمقاطع الزمنية

يبدأ الاتفاق على مجموعة من الكائنات بالمطابقة. فكل كائن من أحد المُعلِّقين يُقرن بكائن واحد على الأكثر من الآخر، باستخدام مقياس للتداخل، ولا يُحتسب الزوج كائناً واحداً إلا فوق عتبة. تستخدم المقاطع الزمنية IoU الزمني (التقاطع على الاتحاد)، أي طول التداخل مقسوماً على طول الاتحاد، وتستخدم الكائنات ثلاثية الأبعاد IoU ثلاثي الأبعاد، وهو النسبة نفسها على الأحجام. يطابق Potato المقاطع عند 0.5 والكائنات ثلاثية الأبعاد عند 0.25، لأن الإزاحة الصغيرة تكلّف من IoU في ثلاثة أبعاد أكثر مما تكلّف في بعدين. فالصندوق المزاح بمقدار 10% من حجمه على كل محور يحتفظ بـ IoU ثنائي الأبعاد يقارب 0.68، وبـ IoU ثلاثي الأبعاد لا يتجاوز نحو 0.57.

بعد المطابقة، يساهم كل زوج متطابق بقيمة IoU الخاصة به، ويساهم الزوج المتطابق ذو الوسمين المختلفين بنصف قيمة IoU، ويساهم كل كائن غير متطابق في أي من الجانبين بصفر. واتفاق العنصر هو المجموع مقسوماً على عدد الكائنات، مع احتساب الأزواج المتطابقة مرة واحدة. لذا فالمُعلِّق الذي يفوّت نصف الكائنات يحصل على درجة منخفضة حتى لو كانت الكائنات التي حدّدها تامة، والمُعلِّقان اللذان لا يحدّدان شيئاً كلاهما متفقان.

يُبلغ /admin/iaa عن رقمين لكل مخطط للكائنات ثلاثية الأبعاد (spatial_annotation) وللمقاطع الزمنية ضمن temporal_grounding وtiered_annotation:

mean_agreement، وهو متوسط تلك الدرجة على مستوى العنصر عبر كل زوج من المُعلِّقين على كل عنصر له مُعلِّقان أو أكثر؛
و**mean_object_count_diff**، وهو متوسط الفرق في عدد الكائنات التي حدّدها المُعلِّقان.

يفصل فرق العدد بين الطريقتين اللتين يمكن أن تختلف بهما مجموعة. فالاتفاق المنخفض مع فرق عدد قريب من الصفر يعني أن البشر وجدوا الكائنات نفسها ووضعوها بشكل مختلف. أما فرق العدد الكبير فيعني أن أحد المُعلِّقين يجد كائنات يفوّتها الآخر، وهذا يشير إلى ما تعدّه الإرشادات كائناً.

لا يُصحَّح أي من الرقمين للصدفة. فخط الأساس للصدفة في الاتفاق المكاني يحتاج إلى نموذج لمواضع الكائنات حين يختلف المُعلِّقون عشوائياً، ولا يبني Potato نموذجاً كهذا إلا للصناديق والمضلعات ثنائية الأبعاد، كما تشرح صفحة الاتفاق على الأشكال الهندسية. وفي المقاطع الزمنية تفشل المقاربة نفسها، لأن مقطعاً من مقطع فيديو آخر ليس مقارنة عشوائية ذات معنى حين تختلف المقاطع في أطوالها، وهو ما تشرحه صفحة الاتفاق عبر الزمن. قارن هذه الأرقام بين التجارب الأولية للمهمة نفسها، حيث تبقى صعوبة وضع الكائن ثابتة.

تغيّرت حالة حدّية واحدة في 2.11. فالمقطعان المتطابقان اللذان طولهما صفر، أي لحظة حدّدها المُعلِّقان كلاهما في الوقت نفسه، قيمة IoU لهما صفر مقسوم على صفر. وكانا يُحتسبان من قبل خلافاً تاماً، وصارا الآن يُحتسبان متفقَين.

الاتفاق على مستوى الخطوة في آثار الوكلاء

أثر الوكيل تسلسل من الخطوات، ومخططات الآثار (process_reward وtrajectory_eval وtool_call_review وfailure_attribution وgui_trajectory) تطلب وسماً لكل خطوة. وتقييم الأثر بمجموعة وسومه يكرّر مشكلة أسماء الوسوم، وتقييمه بحكم إجمالي يُهدر الخطوات.

يعامل /admin/iaa كل خطوة من كل أثر وحدةً قائمة بذاتها. فالمُعلِّقان اللذان يقيّمان الخطوة 4 من الأثر 12 يساهمان بزوج واحد، وتُحسب ألفا كريبندورف الاسمية وكابا كوهين على كل هذه الوحدات، إلى جانب نسبة الاتفاق. وبخلاف مقاييس المجموعات أعلاه، كلا المعاملين مصحَّح للصدفة، لذا تُقرأ ألفا على مستوى الخطوة البالغة 0.6 في مهمة مكافأة العمليات على المقياس نفسه الذي تُقرأ عليه ألفا في أي مهمة فئوية. ويحلّل محرّك الوسم وسوم الخطوات بالطريقة نفسها حين يقيّم نموذج حَكَم LLM مقابل شخص، ودرجته هي نسبة الخطوات المشتركة التي وسمها الاثنان بشكل مختلف.

إسناد مُعلِّقَين لكل عنصر

لا يحتاج /admin/iaa إلى أي إعداد. فهو يقيّم كل عنصر أجاب عنه مُعلِّقان أو أكثر، لذا يقع العمل في الإسناد. ولتعطي كل عنصر مُعلِّقَين، اضبط مُعلِّقَين لكل عنصر، ووزّع العناصر الأقل توسيماً أولاً:

yaml

assignment_strategy: least_annotated
num_annotators_per_item: 2

مُعلِّقان لكل عنصر هما الحد الأدنى الذي يحتاجه التقرير. وفي مجموعة تداخل صغيرة، قد يحرّك أثر واحد غير معتاد أو مسح ليدار واحد المتوسطَ بما يكفي لتغيير استنتاجك، لذا خطّط للتداخل قبل بدء التوسيم لا بعده. وتضبط الكتلة الأقدم agreement_metrics أرقام لوحة التحكم لكل مخطط، وهي بدءاً من 2.11 تتخطى هذه المخططات وتحيل إلى /admin/iaa.

الاتفاق وفرق العدد عبر جولات التجربة الأولية

اقرأ mean_agreement مع فرق العدد ومع عدد الأزواج الذي يُبلغ عنه /admin/iaa بجانبه. فالانخفاض بين جولات التجربة الأولية مع فرق عدد مستقر يشير إلى الموضع، أي إن إرشادات إحكام الصناديق أو حدود المقاطع تحتاج إلى عمل. والارتفاع في فرق العدد يشير إلى ما يُعدّ كائناً أو حدثاً. وفي آثار الوكلاء، قارن ألفا على مستوى الخطوة بألفا التي يبلغها المُعلِّقون أنفسهم في سؤال فئوي أبسط في الدراسة نفسها، فهذا يساعد على الفصل بين صعوبة وسوم الخطوات وعدم موثوقية المُعلِّقين.

قراءة إضافية

الاتفاق بين المُعلِّقين، عن المعاملات ومتى تستخدم كلاً منها
الاتفاق على الأشكال الهندسية، عن الاتفاق المصحَّح للصدفة على الصناديق والمضلعات ثنائية الأبعاد
الاتفاق عبر الزمن، عن المقاطع ونقاط الانقطاع في الصوت والفيديو
IoU الخام ليس اتفاقاً، عن سبب مبالغة متوسط IoU وحده في تقدير الاتفاق المكاني