Potato टीम से समाचार, ट्यूटोरियल और अपडेट।
Potato 2.9 imports brat, doccano, Prodigy, CoNLL, and REFI-QDA projects, transcribes and diarizes audio locally, and records where each image shape came from.
Mean IoU between annotators can stay near 0.95 even for one who never looks. Potato reports σ, which estimates the chance baseline from other images.
Potato 2.8 adds computer vision, deep zoom, 3D point clouds, depth maps, robot episodes, and video-model evaluation, with chance-corrected agreement for each.
Get notified about new tutorials, releases, and community highlights.
एनोटेशन टीमें नॉर्मिंग सत्र पहले से करती हैं, और पहले से चाहती हैं कि उन्हें पता चले उनके एनोटेटर सोचते कैसे हैं। मल्टीप्लेयर रूम अंशांकन बैठक को लाइव सहमति मीटर से मापते हैं; Think-Aloud मोड बोले हुए तर्क को लोकल ही रिकॉर्ड करता है, बिना किसी LLM के।
गोल्ड स्टैंडर्ड महँगे होते हैं, रिस जाते हैं, और सिर्फ़ उन्हीं आइटमों की जाँच करते हैं जिन्हें आपने बोने की सोची थी। दो विकल्प, पीयर-प्रेडिक्शन स्कोरिंग और काउंटरफैक्चुअल बाउंड्री प्रोब, ध्यान न देने वाले एनोटेटरों और टूटे दिशानिर्देशों को एक भी बोए हुए आइटम के बिना पकड़ लेते हैं।
Potato 2.0 पर हमारा पेपर ACL 2026 की System Demonstrations में प्रकाशित हुआ है। जानिए यह क्या कवर करता है और अपने काम में Potato का हवाला कैसे दें।
Potato में बोलने वाले, वीडियो, और डॉक्यूमेंट एजेंटों के लिए ह्यूमन मूल्यांकन का एक वॉकथ्रू: एक डुअल-ट्रैक टाइमलाइन पर टर्न-टेकिंग को स्कोर करना, लाइव IoU के साथ वीडियो इवेंट को ग्राउंड करना, स्पीच त्रुटियों को टैग करना, और टेबल संरचना को चिह्नित करना।
Annotation pipelines are built to erase disagreement, but on subjective tasks the disagreement is the data. A guide to telling genuine label variation from error, and keeping it in Potato.
हर चीज़ पर दोहरी लेबलिंग महँगी पड़ती है; हर चीज़ पर एकल लेबलिंग आपको अंधा बना देती है। Potato 2.6 आपको अधिकांश आइटमों के लिए एक एनोटेटर और एक स्तरीकृत नमूने के लिए तीन एनोटेटर सौंपने देता है, साथ ही अनुकूली बूस्ट और स्वचालित निर्णयन रूटिंग।
मॉडल के आउटपुट को आँकने के लिए LLM का इस्तेमाल आसान है। यह जानना कि उस पर यकीन करें या नहीं, यही मुश्किल हिस्सा है। Potato 2.6 की ब्लाइंड ह्यूमन कैलिब्रेशन की एक झलक: k-सैंपल वोटिंग, Cohen और Fleiss का kappa, और अपेक्षित कैलिब्रेशन त्रुटि।
QDA मोड पर एक नज़र, जो Potato 2.6 में आने वाला गुणात्मक डेटा विश्लेषण वर्कस्पेस है: एक जीवंत कोडबुक, इन-विवो कोडिंग, विश्लेषणात्मक मेमो, केस, और पूरे कॉर्पस पर पूर्ण-पाठ खोज।
किसी एनोटेशन प्रोजेक्ट के लिए एनोटेटर की संख्या और ओवरलैप तय करना: वस्तुनिष्ठ और व्यक्तिपरक कार्यों के लिए सामान्य नियम, कवरेज-बनाम-ओवरलैप का व्यापार-संतुलन, और इसे Potato में कैसे सेट करें।
रिट्रीवल-ऑगमेंटेड जेनरेशन के मूल्यांकन के लिए एक व्यावहारिक मार्गदर्शिका: रिट्रीवल प्रासंगिकता और उत्तर की निष्ठा को अलग-अलग स्कोर करें, और Potato में स्पैन एनोटेशन के साथ असमर्थित दावों को चिह्नित करें।
Potato की trajectory_eval योजना से प्रति-चरण एरर लोकलाइज़ेशन करें, श्रेणीबद्ध एरर टैक्सोनॉमी, गंभीरता स्कोरिंग और एजेंट ट्रेस भर चलने वाले रनिंग स्कोर के साथ।
Potato में GitHub PR जैसी कोड रिव्यू एनोटेशन सेट करें, जिसमें इनलाइन diff टिप्पणियाँ, फ़ाइल-स्तरीय गुणवत्ता रेटिंग, और कोडिंग एजेंट के आउटपुट पर approve या reject का फ़ैसला शामिल है।
Potato में AI agent output का human evaluation कैसे सेट करें, trace import से लेकर trace-level और per-step schema design होते हुए export किए गए results के विश्लेषण तक।
Potato के Solo Mode पर चरण-दर-चरण tutorial: एक seed सेट खुद label कीजिए, बाकी LLM से label करवाइए, और accuracy जाँचों से तय कीजिए कि परिणाम कब इतना अच्छा है कि रुका जा सके।
Label Studio से Potato पर आइए, प्रोजेक्ट config, एनोटेशन स्कीमा और एक्सपोर्ट किया डेटा बदलिए, आम एनोटेशन प्रकारों को कवर करती इस क़दम-दर-क़दम गाइड के साथ।
Prolific पर Potato का एनोटेशन अध्ययन चलाइए, URL से सीधे लॉगिन, completion code, attention check और API के ज़रिए submissions की निगरानी के साथ।
Potato में ऑब्जेक्ट डिटेक्शन टास्क बनाइए, तीन लेबल वाले शुरुआती कॉन्फ़िग से ड्राइविंग फ़ुटेज के प्रोडक्शन कॉन्फ़िग तक, और फिर COCO या YOLO में निर्यात कीजिए।
Potato के एनोटेशन को Hugging Face Datasets प्रारूप में बदलिए: JSON एक्सपोर्ट का ढाँचा, dataset card बनाना, Hub पर अपलोड, और transformers की ट्रेनिंग से जोड़ना।
radio बटन, tooltip और कीबोर्ड शॉर्टकट के साथ भाव वर्गीकरण का पूरा कार्य बनाइए, ताकि लेबलिंग तेज़ी से हो सके।
Potato को toxicity पहचान, hate speech वर्गीकरण और संवेदनशील सामग्री पर लेबल लगाने के लिए कॉन्फ़िगर कीजिए, एनोटेटर की सेहत का ध्यान रखते हुए।
बोली, संगीत, तालियाँ या आसपास की आवाज़ों जैसी ख़ास ध्वनियाँ पकड़ने के लिए समय के निशान वाले span के साथ एनोटेशन सेट कीजिए।
Installation से अपने पहले labeled data तक, Potato के साथ अपना पहला annotation project सेट करने के लिए एक त्वरित गाइड।
Potato में संगीत एनोटेशन का कार्य बनाइए, waveform के चित्रण, 30 सेकंड के preview, शैलियों के श्रेणीबद्ध लेबल-वृक्ष और जोड़े में पसंद की तुलना के साथ।
Potato को प्रोडक्शन में nginx और TLS के पीछे, Docker में या VM पर चलाएँ, और जानें कि Potato सर्वर कई workers के बजाय एक ही प्रोसेस के रूप में क्यों चलता है।
Potato में ऑडियो ट्रांसक्रिप्शन समीक्षा का कार्य सेट कीजिए: waveform, अलग-अलग गति पर प्लेबैक, और ASR की गुणवत्ता आँकने के लिए वहीं पाठ सुधारने वाला इंटरफ़ेस।
Potato पर हमारा पेपर EMNLP 2022 में स्वीकार हुआ। जानिए इस टूल के पीछे का शोध क्या है और अपने काम में इसका हवाला कैसे दें।