أخبار ودروس تعليمية وتحديثات من فريق Potato.
A full walkthrough from a folder of Whisper output to labeled speaker turns: choosing an annotation unit, handling diarization, writing the config, running the task, and exporting with the time alignment intact.
Majority vote throws away most of what your annotators told you. Item response theory gives every label a posterior probability and a confidence interval, estimates annotator ability and item difficulty, and finds broken codebook entries, with no gold labels and no LLM.
Potato 2.7 adds labels with error bars, live norming rooms, counterfactual boundary probes, peer-prediction scoring, local voice rationales, one-command dataset reports, and mobile annotation, none of which need an LLM. Plus multi-agent and multimodal agent evaluation.
Get notified about new tutorials, releases, and community highlights.
شرح للتقييم البشري لوكلاء استخدام الحاسوب والواجهات الرسومية في Potato: الحكم على كل إجراء، والتحقق من ربط النقرة على لقطة الشاشة، ومراجعة نداءات الأدوات واحدًا تلو الآخر.
كيف تجد سبب فشل نظام LLM متعدد الوكلاء باستخدام Potato: الرسم البياني للتفاعل، وإسناد الفشل، ومراجعة التسليم، وبطاقات الأداء لكل وكيل، وخط تنازع الأدوات الزمني، وتوسيم السلوك الناشئ.
وقت المراجعة البشرية هو أندر مورد في تقييم الوكلاء. يجمع Potato 2.6 بين طابور فرز قائم على الإشارات ومحاذاة بين المُقيِّم والبشر، بحيث تصل أسوأ المسارات إلى البشر أولًا ويظل مُقيِّم الـ LLM لديك يتحسّن.
Annotator identity shapes labels, so demographics are worth collecting, but only with consent, care, and a reason. A guide to what to ask, what to leave alone, and how to do it in Potato.
A practical guide to deciding when an LLM can annotate your data, where model annotators fail, and how to combine automation with human verification in Potato.
نظرة صادقة على كيفية اختيار أداة وسم بيانات مفتوحة المصدر، والأسئلة التي تضيّق الخيارات فعلًا، وأين يقع Potato بين Label Studio وProdigy وDoccano وbrat وArgilla.
Potato now supports coding agent annotation with diff rendering, terminal output display, and process reward schemas. Import traces from Claude Code, Aider, and SWE-Agent.
Step-by-step guide to collecting per-step reward signals for PRM training using Potato. Covers first-error mode, per-step annotation, and export to training pipelines.
Compare Potato with LangSmith, Langfuse, Labelbox, and Scale AI for agent evaluation: trace rendering, per-step and multi-agent annotation, multimodal-agent review, coding agents, live observation, pricing, and self-hosting.
Set up multi-criteria rubric evaluation with custom criteria, configurable rating scales, and dimension weights for systematic AI agent evaluation using Potato's rubric_eval.
كيفية استخدام عرض مسار وكيل الويب في Potato لتقييم وكلاء تصفح الويب المستقلة، مع لقطات شاشة خطوة بخطوة وتراكبات SVG ومخططات توصيف لكل خطوة.
يضيف Potato 2.2.0 تسعة مخططات توصيف جديدة، ونظام تصدير قابل للتوسيع، وتقدير كفاءة MACE، و55 أداة استبيان موثقة، ومصادر بيانات بعيدة.
تقنيات متخصصة لتوسيم العقود ومستندات المحاكم والإيداعات التنظيمية بخبرة المجال.
أفضل الممارسات لتوسيم الصور الطبية باستخدام ميزات توسيم الصور القياسية في Potato.
بناء واجهات مقارنة صور جنباً إلى جنب لترتيب التفضيلات واختبار A/B وتقييم الجودة.
يسعدنا الإعلان عن Potato 2.0 مع ميزات مدعومة بالذكاء الاصطناعي ودعم الوسائط المتعددة وقدرات التعلم النشط.
إنشاء واجهات توسيم مخصصة باستخدام قوالب HTML وتنسيق CSS وتفاعلية JavaScript.
ابنِ مهمة توصيف لتعلم اللغات لتقييم جودة النطق مع تشغيل الصوت ومقاييس Likert.
كيفية حساب وتفسير معامل كابا لكوهين ومعامل كابا لفليس ومعامل ألفا لكريبندورف لمشاريع التوسيم.
أفضل الممارسات لضمان جودة التوصيف في مشاريع التوصيف، بما في ذلك استراتيجيات عملية يمكنك تنفيذها مع Potato وما بعده.
نظرة عامة على مفاهيم توصيف تتبع الأجسام المتعددة وكيف يمكن لإمكانيات توصيف الفيديو في Potato دعم سير عمل التتبع الأساسي.
إنشاء مهمة تصنيف مشاعر صوتية مع عرض الموجة الصوتية وعناصر التحكم في سرعة التشغيل ومقاييس ليكرت.