القياس والنزاهة
يُبلغ Potato عن اتفاق مصحَّح للصدفة على الهندسة والمجسمات ثلاثية الأبعاد والتعليقات ونقاط انكسار نماذج العالم، وعن اتفاق غير مصحَّح على المقاطع الزمنية، ويسجّل كيف أُنتجت التوسيمات.
يأتي كل نوع توسيم في Potato مع طريقة لقياس هل يتفق المُوسِّمون، مع ذكر أوجه إخفاقها، وهذا المقياس في معظم الأنواع مصحَّح للصدفة. ويشمل ذلك الأنواع المكانية، حيث المعيار في الصناعة هو التقاطع على الاتحاد الخام أو نسبة التطابق المئوية، وكلاهما غير مصحَّح للصدفة. والمقاطع الزمنية هي الاستثناء: فيُبلغ Potato عنها بمقاييس غير مصحَّحة، ويشرح الاتفاق على الزمن السبب.
يغطي هذا القسم نصفي السؤال معًا: هل تتفق التسميات، وكيف أُنتجت.
الخيط الناظم
| السؤال | المقياس |
|---|---|
| هل وجد المُوسِّمون الأجسام نفسها؟ | ألفا الكشف |
| هل سمّوها الاسم نفسه؟ | ألفا التصنيف |
| هل وضعوها في المكان نفسه؟ | σ وKS مقابل خط أساس تجريبي للصدفة |
| قناع مَن نثق به؟ | STAPLE |
| هل يتفقون على متى يبدأ حدث؟ | التقاطع الزمني على الاتحاد وF1 للكشف، دون تصحيح للصدفة |
| هل يتفقون على مربع ثلاثي الأبعاد؟ | تقاطع على اتحاد ثلاثي الأبعاد دقيق ومدوَّر |
| هل يصفون منطقة بالطريقة نفسها؟ | ألفا مع مسافة دلالية على النص |
| هل يتفقون على متى انكسر العالم؟ | اتفاق نقطة الانكسار مع مسح للتسامح |
| هل المُوسِّم كفء؟ | MACE، للأجزاء الفئوية فعلًا |
لماذا تصحيح الصدفة
الاتفاق الخام مضخَّم كلما هيمنت إجابة واحدة، وتهيمن إجابة واحدة في الغالب دائمًا.
والحالة الأوضح مكانية. فمجموعة تحمل كل صورة فيها جسمًا واحدًا كبيرًا في الوسط سيُظهر فيها متوسط التقاطع على الاتحاد نحو 0.95 أيًّا كان من يوسِّمها — بمن فيهم مُوسِّمون لم ينظروا إلى الصورة قط ورسموا مربعًا في الوسط. وتصحيح الصدفة هو ما يفصل بين «هؤلاء المُوسِّمون متفقون» و«هذه المهمة أسهل من أن يُختلف عليها».
وتُبلغ معظم منصات التوسيم عن الاتفاق في صورة تقاطع على اتحاد خام أو تطابق تام أو نسبة اتفاق مئوية مقابل مهمة حقيقة أرضية. وهذه أرقام مفيدة تجيب عن سؤال مختلف. ولم نجد منصة توسيم أخرى تُبلغ عن معامل مصحَّح للصدفة للتسميات المكانية على الإطلاق.
خاصيتا تصميم
القيم غير المعرَّفة تشرح نفسها. ألفا غير معرَّفة فعلًا في مجموعة بإجماع تام. وNaN مجردة تُقرأ على أنها حساب معطوب، وقيمة 1.0 ستكون كذبة، ولذلك يذكر التقرير أيهما، بالكلمات.
لا شيء يُقتطع بصمت. التقرير الذي يبلغ ميزانيته الزوجية يقول ذلك ويذكر عدد العناصر المشمولة. فرقم محسوب على عيّنة وهو يقدّم نفسه رقمًا محسوبًا على كل شيء أسوأ من غياب الرقم.
الخلل الذي وُجدت هذه الطبقة بسببه
كان التحكيم يقارن مفاتيح التوسيم، ومخطط الصور يخزن كل شيء تحت مفتاح واحد اسمه _data. فكان كل زوج صور يسجل اتفاقًا قدره 1.0: مُوسِّمان لم يتفقا على شيء بدوَا إجماعًا تامًّا، ولم تُوجَّه أي صورة قط إلى المراجعة.
وقد أُصلح ذلك، وهو سبب بناء طبقة الاتفاق داخل كل نوع توسيم لا إضافتها فوقه.
كيف أُنتجت البيانات
لا يستطيع الاتفاق أن يكشف مُوسِّمَين يتفقان بثقة على الخطأ، ولا أن يكشف توسيمًا مسبقًا قُبل دون أن يُقرأ. ويعالج ذلك سطحان:
- قياس الرسم عن بعد يسجّل الزمن لكل شكل، وديناميكيات الضربات، وعدد المراجعات، وزمن قبول اقتراحات الذكاء الاصطناعي.
- تسجيل ضغطات المفاتيح هو التوأم النصي، لمعرفة كيف أُنتجت إجابة نصية حرة.
كلاهما اختياري، ويرى المُوسِّمون إشعارًا بالتسجيل.
الثقة والنشر
- النشر المعزول عن الشبكة — كل أصل يُقدَّم من تثبيتك، وقد تحقق ذلك عند صفر طلب خارجي.
- المواصفات المقروءة آليًّا — مخطط JSON ووثيقة OpenAPI، كلاهما مولَّد من الشيفرة ومفحوص في التكامل المستمر.