أخبار ودروس تعليمية وتحديثات من فريق Potato.
When annotators accept model pre-labels without reading them, inter-annotator agreement goes up. Every quality measure computed from the annotations improves. Timing is the only signal left.
صار بإمكان Potato أن يسجّل كيف ينتج المعلّقون إجاباتهم النصية الحرة، دون أن يسجّل ما يكتبونه، وأن يحوّل التوقفات والمراجعات وعمليات اللصق إلى إشارات قابلة للتدقيق على الإجابات التي لُصقت بدل أن تُكتب.
شرح كامل من مجلد مخرجات Whisper إلى أدوار متحدثين مصنَّفة: اختيار وحدة التعليق، والتعامل مع فصل المتحدثين، وكتابة التهيئة، وتشغيل المهمة، والتصدير مع بقاء المحاذاة الزمنية سليمة.
Get notified about new tutorials, releases, and community highlights.
تصويت الأغلبية يهدر معظم ما أخبرك به معلّقوك. تعطي نظرية استجابة المفردة كل تصنيف احتمالاً بعدياً وفترة ثقة، وتقدّر قدرة المعلّق وصعوبة العنصر، وتكشف مواضع العطب في دليل الترميز، بلا تصنيفات ذهبية وبلا LLM.
يضيف Potato 2.7 تصنيفات بأشرطة خطأ، وغرف توحيد معايير حية، ومسابر حدود مضادة للواقع، وتسجيلاً بتنبؤ الأقران، ومبرّرات صوتية محلية، وتقارير مجموعات بيانات بأمر واحد، وتعليقاً توضيحياً من المحمول، ولا يحتاج أي منها إلى LLM. إضافةً إلى تقييم الوكلاء المتعددين والوكلاء متعددي الوسائط.
شرح للتقييم البشري لوكلاء استخدام الحاسوب والواجهات الرسومية في Potato: الحكم على كل إجراء، والتحقق من ربط النقرة على لقطة الشاشة، ومراجعة نداءات الأدوات واحدًا تلو الآخر.
كيف تجد سبب فشل نظام LLM متعدد الوكلاء باستخدام Potato: الرسم البياني للتفاعل، وإسناد الفشل، ومراجعة التسليم، وبطاقات الأداء لكل وكيل، وخط تنازع الأدوات الزمني، وتوسيم السلوك الناشئ.
وقت المراجعة البشرية هو أندر مورد في تقييم الوكلاء. يجمع Potato 2.6 بين طابور فرز قائم على الإشارات ومحاذاة بين المُقيِّم والبشر، بحيث تصل أسوأ المسارات إلى البشر أولًا ويظل مُقيِّم الـ LLM لديك يتحسّن.
هوية المُعلّق تشكّل التصنيفات في المهام الذاتية، فالخصائص الديموغرافية تستحق الجمع، لكن بموافقة وسبب فقط. ماذا تسأل، وما الذي تتركه، وكيف تدير التدفق في Potato.
دليل عملي لتقرير متى يمكن لنموذج لغوي أن يعلّق بياناتك، وأين يفشل المُعلّق الآلي، وكيف تجمع بين الأتمتة والتحقق البشري في Potato.
نظرة صادقة على كيفية اختيار أداة وسم بيانات مفتوحة المصدر، والأسئلة التي تضيّق الخيارات فعلًا، وأين يقع Potato بين Label Studio وProdigy وDoccano وbrat وArgilla.
صار Potato يدعم التعليق التوضيحي لوكلاء البرمجة مع تصيير الـ diff وعرض مخرجات الطرفية ومخططات مكافأة العملية. استورد التتبعات من Claude Code وAider وSWE-Agent.
دليل عملي خطوة بخطوة لجمع إشارات المكافأة لكل خطوة من أجل تدريب PRM باستخدام Potato. يغطي وضع الخطأ الأول، والتعليق لكل خطوة، والتصدير إلى خطوط التدريب.
قارن بين Potato وLangSmith وLangfuse وLabelbox وScale AI في تقييم الوكلاء: تصيير التتبعات، والتعليق لكل خطوة وللأنظمة متعددة الوكلاء، ومراجعة الوكلاء متعددي الوسائط، ووكلاء البرمجة، والمراقبة المباشرة، والتسعير، والاستضافة الذاتية.
إعداد تقييم رُبريك متعدد المعايير بمعايير مخصصة ومقاييس تقييم قابلة للتهيئة وأوزان للأبعاد، من أجل تقييم منهجي لوكلاء الذكاء الاصطناعي عبر rubric_eval في Potato.
كيفية استخدام عرض مسار وكيل الويب في Potato لتقييم وكلاء تصفح الويب المستقلة، مع لقطات شاشة خطوة بخطوة وتراكبات SVG ومخططات توصيف لكل خطوة.
يضيف Potato 2.2.0 تسعة مخططات توصيف جديدة، ونظام تصدير قابل للتوسيع، وتقدير كفاءة MACE، و55 أداة استبيان موثقة، ومصادر بيانات بعيدة.
تقنيات متخصصة لتوسيم العقود ومستندات المحاكم والإيداعات التنظيمية بخبرة المجال.
أفضل الممارسات لتوسيم الصور الطبية باستخدام ميزات توسيم الصور القياسية في Potato.
بناء واجهات مقارنة صور جنباً إلى جنب لترتيب التفضيلات واختبار A/B وتقييم الجودة.
يسعدنا الإعلان عن Potato 2.0 مع ميزات مدعومة بالذكاء الاصطناعي ودعم الوسائط المتعددة وقدرات التعلم النشط.
إنشاء واجهات توسيم مخصصة باستخدام قوالب HTML وتنسيق CSS وتفاعلية JavaScript.
ابنِ مهمة توصيف لتعلم اللغات لتقييم جودة النطق مع تشغيل الصوت ومقاييس Likert.
كيفية حساب وتفسير معامل كابا لكوهين ومعامل كابا لفليس ومعامل ألفا لكريبندورف لمشاريع التوسيم.
أفضل الممارسات لضمان جودة التوصيف في مشاريع التوصيف، بما في ذلك استراتيجيات عملية يمكنك تنفيذها مع Potato وما بعده.
نظرة عامة على مفاهيم توصيف تتبع الأجسام المتعددة وكيف يمكن لإمكانيات توصيف الفيديو في Potato دعم سير عمل التتبع الأساسي.
إنشاء مهمة تصنيف مشاعر صوتية مع عرض الموجة الصوتية وعناصر التحكم في سرعة التشغيل ومقاييس ليكرت.