Potato टीम से समाचार, ट्यूटोरियल और अपडेट।
निर्णय मॉडल एक फ़ॉरवर्ड पास में हर विकल्प को अंक देता है और कोई टेक्स्ट नहीं लिखता। कम विकल्पों वाले सवालों पर यह LLM से पहले, पहले लेबलिंग स्तर का काम करता है।
छह एनोटेशन टूलों की तुलना: मॉडल और LLM लेबल प्रोजेक्ट में कैसे आते हैं, लोग उनकी समीक्षा कैसे करते हैं, और हर टूल मशीन-लेबल त्रुटि दरों के बारे में क्या बताता है।
सेल्फ़-होस्टेड इंस्टॉल के लिए Label Studio, CVAT, doccano, Argilla, INCEpTION और Potato की सेवाओं, डेटाबेस, साइन-इन और बैकअप पर तुलना, साथ में लागत के अनुसार होस्ट।
नए ट्यूटोरियल, रिलीज़ और समुदाय की खास बातों की सूचना पाएं।
Many robot episodes end in partial success, and binary labels discard it. Annotation needs a timeline, min/max downsampling, and relabeling.
Click-to-segment and text prompting run in the browser with no GPU, using a verified encoder contract, a measured quantization, and a hand-written tokenizer.
कोई LLM जज उतना ही भरोसेमंद है जितने भरोसेमंद वे मानव लेबल हैं जिनके सामने आपने उसे परखा। एक ही आइटम पर किसी व्यक्ति की सोच की शृंखला को मॉडल की शृंखला के बग़ल में रखिए, और अपने जज को ऐसे लेबलों के सामने जाँचिए जो अपने विश्वास अंतराल साथ लिए चलते हैं।
Potato 2.7.1 इक्कीस ट्रांसक्रिप्ट और सबटाइटल प्रारूप सीधे पढ़ता है, उन्हें आपके मीडिया के बग़ल में पड़ी साइडकार फ़ाइलों से लोड करता है, और एक कन्वर्टर देता है जो ASR आउटपुट के पूरे फ़ोल्डर को एनोटेशन के लिए तैयार डेटा फ़ाइल में बदल देता है।
When who annotates matters, use a validated questionnaire rather than one you invented. Potato ships 55 survey instruments for prestudy and poststudy phases.
Record the curation rationale, annotator pool, guidelines, and intended use when you release an annotation dataset, and see how much of it Potato captures.
Potato 2.6 जारी: गुणात्मक कोडिंग के लिए QDA मोड, LLM-as-judge अंशांकन और संरेखण वर्कफ़्लो, ट्रैजेक्टरी संपादन जो SFT और DPO प्रशिक्षण डेटा बनाता है, 3 गुना तेज़ बूट, और GPL-3.0-or-later में पुनः लाइसेंसिंग।
2.6.x शृंखला Potato को एक पूर्ण, मुफ़्त एजेंट-मूल्यांकन प्लेटफ़ॉर्म में बदल देती है: OpenTelemetry, LangGraph, CrewAI, और AutoGen से ट्रेस इंजेशन, एक क्लिक करने योग्य इंटरैक्शन ग्राफ़ के साथ मल्टी-एजेंट टीम एनोटेशन, GUI, वॉइस, और वीडियो के लिए मल्टीमोडल-एजेंट स्कीमा, साथ ही एक मॉडल एरिना, CI गेटिंग, और क्यूरेशन।
अधिकांश एजेंट मूल्यांकन एक स्कोर पर रुक जाते हैं। Potato 2.6 का trajectory_edit स्कीमा एनोटेटर को किसी गलत चरण को रेट करने के बजाय उसे फिर से लिखने देता है, और हर सुधार को सुपरवाइज़्ड फाइन-ट्यूनिंग लक्ष्यों और DPO वरीयता जोड़ों के रूप में निर्यात करता है।
Annotating an agent's multi-step trace is harder than labeling a tweet. A guide to designing the taxonomy, measuring step-level agreement, and adjudicating disagreement, with a Potato config.
How to write an annotation codebook an LLM can actually follow, validate its labels against human coders, and keep a person in the loop, with a worked Potato config.
Potato में स्पैन एनोटेशन के साथ ठीक-ठीक शब्दों को हाइलाइट करके और यह लेबल करके कि क्या गलत है, MQM-शैली में मॉडल हैल्यूसिनेशन और तथ्यात्मक त्रुटियाँ पकड़ें।
Ollama, Anthropic API या Claude Agent SDK के साथ लाइव कोडिंग एजेंट अवलोकन सेट करने का ट्यूटोरियल, जिसमें pause, rollback, branching और ट्रैजेक्टरी निर्यात शामिल हैं।
Potato में तीन modes के साथ pairwise agent तुलना सेट करें: binary preference, continuous scale, और आवश्यक justification वाला प्रति-dimension multi-criteria निर्णय।
Potato 2.4.0 में आया है web agent trace समीक्षा, रियल-टाइम लाइव agent मूल्यांकन, एक LLM chat sidebar, HuggingFace Hub निर्यात, webhooks, SSO/OAuth, और पाँच active learning रणनीतियाँ।
Potato 2.3.0 में human-LLM labeling के लिए Solo Mode, agent trace annotation, Best-Worst Scaling, SSO और OAuth login, Parquet export और 15 demo projects जोड़े गए हैं।
Potato 2.1.0 में instance display की व्यवस्था, इमेज और वीडियो एनोटेशन के लिए visual AI समर्थन, span linking, कई फ़ील्ड पर span, और लेआउट में फेरबदल की सुविधा आई है।
YOLO, Ollama, OpenAI, और Claude के साथ image और video tasks के लिए AI-powered object detection, pre-annotation, और classification सेट करें।
Potato में इमेज segmentation के लिए polygon बनाने के टूल कॉन्फ़िगर कीजिए, साथ में जटिल आकृतियों, एक-दूसरे पर चढ़े हिस्सों, कई श्रेणियों वाले polygon और COCO प्रारूप में निर्यात के सुझाव।
Potato annotation कतार को classifier की अनिश्चितता के हिसाब से कैसे दोबारा क्रम में लगाता है, साथ में sampling सेटिंग्स, cold start और मिश्रण में पर्याप्त random आइटम रखने का config।
Potato में कीवर्ड हाइलाइटिंग को एक तय कीवर्ड फ़ाइल या LLM कीवर्ड सहायक से कॉन्फ़िगर कीजिए, जिसमें हर लेबल के रंग, बेतरतीब ध्यान-भटकाऊ शब्द और रिस्पॉन्स कैशिंग शामिल हैं।
Amazon Mechanical Turk 30 सितंबर 2026 को बंद हो गया। MTurk पर चलने वाली Potato स्टडी Prolific, SONA या CloudResearch Connect पर कैसे जाती है, और क्या वैसा ही रहता है।
Potato में वक्ता पहचानने का कार्य बनाइए: इंटरैक्टिव ऑडियो waveform, समय के निशान, वक्ताओं के लेबल, और एनोटेटरों के बीच सहमति नापने का तरीक़ा।
Potato में वीडियो एनोटेशन सेट कीजिए: फ़्रेम-दर-फ़्रेम नेविगेशन, समय के निशान, घटनाओं की समय-आधारित लेबलिंग, और radio या span स्कीमा से हर खंड का वर्गीकरण।
Potato में इमेज वर्गीकरण सेट कीजिए, जिसमें instance_display से इमेज दिखाई जाती हैं और radio व multiselect स्कीमा से लेबल जुटाए जाते हैं, गुणवत्ता जाँचों समेत।
OpenAI, Claude, या Gemini का उपयोग करके अपने annotators को intelligent hints और suggestions प्रदान करना सीखें।
Potato में named entity recognition कार्य बनाने की चरण-दर-चरण मार्गदर्शिका, जिसमें span एनोटेशन कॉन्फ़िग, लेबल के रंग, आपस में ओवरलैप करते span, कीबोर्ड शॉर्टकट और CoNLL निर्यात शामिल हैं।
Potato में JSON और JSONL प्रारूपों की विस्तार से पड़ताल: टेक्स्ट, इमेज, ऑडियो, वीडियो और मल्टीमॉडल एनोटेशन के लिए आइटम कैसे बनाएँ, असली config उदाहरणों के साथ।