नया क्या है
Potato v2.x रिलीज़ में नई सुविधाओं और सुधारों का अवलोकन।
नया क्या है
यह पृष्ठ Potato v2.x रिलीज़ में नई सुविधाओं और सुधारों को कवर करता है।
Potato 2.3.0
9 मार्च 2026 को जारी
Potato 2.3 Potato के इतिहास में सबसे बड़ी रिलीज़ है, जिसमें एजेंटिक एनोटेशन, Solo Mode, Best-Worst Scaling, SSO/OAuth प्रमाणीकरण, Parquet एक्सपोर्ट, 15 नए डेमो प्रोजेक्ट, और सुरक्षा कड़ाई शामिल हैं।
एजेंटिक एनोटेशन
मानव एनोटेशन के माध्यम से AI एजेंटों का मूल्यांकन करने के लिए एक पूर्ण प्रणाली। इसमें 12 ट्रेस फॉर्मेट कन्वर्टर, 3 विशेष डिस्प्ले प्रकार, और 9 पूर्व-निर्मित एनोटेशन स्कीमा शामिल हैं।
12 ट्रेस फॉर्मेट कन्वर्टर — OpenAI, Anthropic, SWE-bench, OpenTelemetry, MCP, CrewAI/AutoGen/LangGraph, LangChain, LangFuse, ReAct, WebArena/VisualWebArena, ATIF, और रॉ ब्राउज़र रिकॉर्डिंग से एजेंट ट्रेस आयात करें। ऑटो-डिटेक्शन उपलब्ध है।
agentic:
enabled: true
trace_converter: react # or openai, anthropic, webarena, auto, etc.
trace_file: "data/traces.jsonl"3 डिस्प्ले प्रकार:
- Agent Trace Display — कलर-कोडेड स्टेप कार्ड, कोलैप्सिबल ऑब्जर्वेशन, JSON प्रिटी-प्रिंटिंग, और टूल-उपयोग करने वाले एजेंटों के लिए टाइमलाइन साइडबार
- Web Agent Trace Display — SVG ओवरले के साथ पूर्ण स्क्रीनशॉट जो क्लिक टार्गेट, टेक्स्ट इनपुट, और स्क्रॉल क्रियाएं दिखाता है; ब्राउज़िंग एजेंटों के लिए फिल्मस्ट्रिप नेविगेशन
- Interactive Chat Display — लाइव चैट मोड (एनोटेटर प्रॉक्सी के माध्यम से एजेंट के साथ इंटरैक्ट करता है) और वार्तालाप एजेंटों के लिए ट्रेस समीक्षा मोड
प्रति-टर्न रेटिंग — सूक्ष्म मूल्यांकन के लिए समग्र ट्रेस के साथ-साथ अलग-अलग चरणों को रेट करें।
9 पूर्व-निर्मित स्कीमा — agent_task_success, agent_step_correctness, agent_error_taxonomy, agent_safety, agent_efficiency, agent_instruction_following, agent_explanation_quality, agent_web_action_correctness, agent_conversation_quality।
Agent Proxy System — लाइव एजेंट मूल्यांकन के लिए OpenAI, HTTP, और echo प्रॉक्सी।
एजेंटिक एनोटेशन के बारे में अधिक जानें →
Solo Mode
एक 12-चरण बुद्धिमान कार्यप्रवाह जहाँ एक एकल मानव एनोटेटर पूरे डेटासेट को लेबल करने के लिए LLM के साथ सहयोग करता है, जिससे कुल मानव लेबलों के केवल 10-15% की आवश्यकता के साथ मल्टी-एनोटेटर पाइपलाइनों के साथ 95%+ सहमति प्राप्त होती है।
12 चरण:
- Seed Annotation — मानव 50 विविध उदाहरणों को लेबल करता है
- Initial LLM Calibration — LLM बीज उदाहरणों का उपयोग करके लेबल करता है
- Confusion Analysis — व्यवस्थित असहमति पैटर्न पहचानें
- Guideline Refinement — LLM प्रस्तावित करता है, मानव अद्यतन दिशानिर्देश अनुमोदित करता है
- Labeling Function Generation — ALCHEmist-प्रेरित प्रोग्रामेटिक नियम
- Active Labeling — मानव सबसे जानकारीपूर्ण उदाहरणों को लेबल करता है
- Automated Refinement Loop — बेहतर दिशानिर्देशों के साथ पुनरावृत्त पुनः-लेबलिंग
- Disagreement Exploration — मानव LLM/LF संघर्षों को हल करता है
- Edge Case Synthesis — LLM मानव लेबलिंग के लिए अस्पष्ट उदाहरण उत्पन्न करता है
- Cascaded Confidence Escalation — मानव सबसे कम-आत्मविश्वास वाले लेबलों की समीक्षा करता है
- Prompt Optimization — DSPy-प्रेरित स्वचालित प्रॉम्प्ट खोज
- Final Validation — यादृच्छिक नमूना समीक्षा
solo_mode:
enabled: true
llm:
endpoint_type: openai
model: "gpt-4o"
api_key: ${OPENAI_API_KEY}
seed_count: 50
accuracy_threshold: 0.92Multi-Signal Instance Prioritization — सबसे मूल्यवान उदाहरणों का चयन करने के लिए 6 भारित पूल (uncertain, disagreement, boundary, novel, error_pattern, random)।
Solo Mode के बारे में अधिक जानें →
Best-Worst Scaling
कुशल तुलनात्मक एनोटेशन जहाँ एनोटेटर टुपल से सर्वोत्तम और सबसे खराब आइटम चुनते हैं। संतुलित अधूरे ब्लॉक डिज़ाइन के साथ स्वचालित टुपल निर्माण और तीन स्कोरिंग विधियाँ (Counting, Bradley-Terry, Plackett-Luce)।
annotation_schemes:
- annotation_type: best_worst_scaling
name: fluency
items_key: "translations"
tuple_size: 4
best_label: "Most Fluent"
worst_label: "Least Fluent"
scoring:
method: bradley_terryBest-Worst Scaling के बारे में अधिक जानें →
SSO और OAuth प्रमाणीकरण
Google OAuth (डोमेन प्रतिबंध), GitHub OAuth (संगठन प्रतिबंध), और जेनेरिक OIDC (Okta, Azure AD, Auth0, Keycloak) के साथ प्रोडक्शन-तैयार प्रमाणीकरण। ऑटो-रजिस्ट्रेशन, मिश्रित मोड, और सत्र प्रबंधन का समर्थन करता है।
authentication:
method: google_oauth
google_oauth:
client_id: ${GOOGLE_CLIENT_ID}
client_secret: ${GOOGLE_CLIENT_SECRET}
allowed_domains:
- "umich.edu"
auto_register: trueSSO और OAuth के बारे में अधिक जानें →
Parquet एक्सपोर्ट
Apache Parquet फॉर्मेट में एनोटेशन एक्सपोर्ट करें, जो तीन संरचित फ़ाइलें उत्पन्न करता है: annotations.parquet, spans.parquet, और items.parquet। snappy, gzip, zstd, lz4, और brotli कम्प्रेशन, इंक्रीमेंटल एक्सपोर्ट, और दिनांक/एनोटेटर पार्टीशनिंग का समर्थन करता है। pandas, DuckDB, PyArrow, Polars, और Hugging Face Datasets के साथ संगत।
parquet_export:
enabled: true
output_dir: "output/parquet/"
compression: zstd
auto_export: trueParquet एक्सपोर्ट के बारे में अधिक जानें →
15 नए डेमो प्रोजेक्ट
project-hub/ में नए डेमो जो एजेंटिक एनोटेशन (5 डेमो), Solo Mode (3 डेमो), Best-Worst Scaling (3 डेमो), प्रमाणीकरण (2 डेमो), और एक्सपोर्ट कार्यप्रवाह (2 डेमो) को कवर करते हैं। कोई भी डेमो potato start config.yaml से शुरू करें।
सुरक्षा कड़ाई
- कॉन्फ़िगरेबल समाप्ति के साथ क्रिप्टोग्राफिक रूप से सुरक्षित सत्र टोकन
- डिफ़ॉल्ट रूप से CSRF सुरक्षा सक्षम
- प्रमाणीकरण एंडपॉइंट पर दर सीमित करना
- उपयोगकर्ता-प्रदत्त सामग्री के लिए इनपुट सैनिटाइज़ेशन
- सभी पैकेजों के साथ डिपेंडेंसी ऑडिट अपडेट
- Content Security Policy हेडर
अन्य सुधार
- असमर्थित एजेंट फ्रेमवर्क के लिए कस्टम ट्रेस कन्वर्टर
- मल्टी-एनोटेटर सत्यापन नमूनाकरण के साथ हाइब्रिड Solo Mode
- स्कोर कन्वर्जेंस चार्ट के साथ BWS एडमिन डैशबोर्ड टैब
- दिनांक पार्टीशनिंग के साथ इंक्रीमेंटल Parquet एक्सपोर्ट
v2.2 बनाम v2.3 तुलना
| सुविधा | v2.2 | v2.3 |
|---|---|---|
| एजेंटिक एनोटेशन | उपलब्ध नहीं | 12 कन्वर्टर, 3 डिस्प्ले, 9 स्कीमा |
| Solo Mode | उपलब्ध नहीं | 12-चरण मानव-LLM कार्यप्रवाह |
| Best-Worst Scaling | उपलब्ध नहीं | 3 स्कोरिंग विधियों के साथ BWS |
| प्रमाणीकरण | केवल उपयोगकर्ता नाम | + Google OAuth, GitHub OAuth, OIDC |
| Parquet एक्सपोर्ट | उपलब्ध नहीं | 6 कम्प्रेशन विकल्पों के साथ 3-फ़ाइल Parquet |
| डेमो प्रोजेक्ट | 125+ | 140+ (15 नए) |
| सुरक्षा | बुनियादी | CSRF, दर सीमित करना, CSP, सुरक्षित सत्र |
Potato 2.2.0
20 फरवरी 2026 को जारी
Potato 2.2 एक प्रमुख फीचर रिलीज़ है जिसमें 9 नए एनोटेशन स्कीमा, एक प्लग करने योग्य एक्सपोर्ट सिस्टम, MACE योग्यता अनुमान, 55 मान्य सर्वेक्षण उपकरण, और रिमोट डेटा स्रोत शामिल हैं।
नए एनोटेशन स्कीमा (9)
Event Annotation — ट्रिगर स्पैन और टाइप किए गए तर्क भूमिकाओं के साथ N-ary इवेंट संरचनाएं। बाधित इकाई तर्कों और हब-स्पोक आर्क विज़ुअलाइज़ेशन के साथ ATTACK, HIRE, और TRAVEL जैसी घटनाओं को एनोटेट करें।
annotation_schemes:
- annotation_type: event_annotation
name: events
span_schema: entities
event_types:
- type: "ATTACK"
trigger_labels: ["EVENT_TRIGGER"]
arguments:
- role: "attacker"
entity_types: ["PERSON", "ORGANIZATION"]
required: trueEvent Annotation के बारे में अधिक जानें →
Entity Linking — बाहरी नॉलेज बेस (Wikidata, UMLS, कस्टम REST API) से स्पैन एनोटेशन लिंक करें। KB खोज और लिंकिंग सक्षम करने के लिए किसी भी स्पैन स्कीमा में entity_linking: ब्लॉक जोड़ें।
Entity Linking के बारे में अधिक जानें →
Triage — तेज़ डेटा स्क्रीनिंग के लिए Prodigy-स्टाइल accept/reject/skip इंटरफ़ेस। उच्च-थ्रूपुट एनोटेशन के लिए कस्टमाइज़ योग्य लेबल, कीबोर्ड शॉर्टकट, और ऑटो-एडवांस।
Triage के बारे में अधिक जानें →
Pairwise Comparison — बाइनरी (पसंदीदा टाइल क्लिक करें) या स्केल (स्लाइडर) मोड के साथ दो आइटम की तुलना करें। items_key, allow_tie, कॉन्फ़िगरेबल रेंज के साथ scale: ब्लॉक का समर्थन करता है।
Pairwise Comparison के बारे में अधिक जानें →
Conversation Trees — प्रति-नोड रेटिंग, पथ चयन, और शाखा तुलना के साथ पदानुक्रमित वार्तालाप संरचनाओं को एनोटेट करें।
Conversation Trees के बारे में अधिक जानें →
Coreference Chains — दृश्य संकेतकों के साथ सहसंदर्भित पाठ उल्लेखों को चेन में समूहित करें। इकाई प्रकार, सिंगलटन नियंत्रण, और एकाधिक हाइलाइट मोड का समर्थन करता है।
Coreference Chains के बारे में अधिक जानें →
Segmentation Masks — पिक्सेल-स्तरीय छवि सेगमेंटेशन के लिए नए fill, eraser, और brush टूल।
Bounding Box for PDF/Documents — दस्तावेज़ एनोटेशन कार्यों के लिए PDF पृष्ठों पर बॉक्स बनाएं।
Discontinuous Spans — allow_discontinuous: true एकल स्पैन के रूप में गैर-सन्निहित पाठ खंडों का चयन सक्षम करता है।
बुद्धिमान एनोटेशन
MACE Competence Estimation — वेरिएशनल Bayes EM एल्गोरिदम जो संयुक्त रूप से सच्चे लेबल और एनोटेटर योग्यता स्कोर (0.0-1.0) का अनुमान लगाता है। radio, likert, select, और multiselect स्कीमा के साथ काम करता है।
mace:
enabled: true
trigger_every_n: 10
min_annotations_per_item: 3Option Highlighting — असतत एनोटेशन कार्यों के लिए LLM-आधारित संभावित सही विकल्पों की हाइलाइटिंग। कम-संभावित विकल्पों को कम करते हुए स्टार इंडिकेटर के साथ शीर्ष-k विकल्पों को हाइलाइट करता है।
ai_support:
option_highlighting:
enabled: true
top_k: 3
dim_opacity: 0.4Option Highlighting के बारे में अधिक जानें →
Diversity Ordering — एनोटेटर क्रम में समान आइटम के बजाय विविध सामग्री देखें, यह सुनिश्चित करने के लिए एम्बेडिंग-आधारित क्लस्टरिंग और राउंड-रॉबिन सैंपलिंग।
assignment_strategy: diversity_clustering
diversity_ordering:
enabled: true
prefill_count: 100Diversity Ordering के बारे में अधिक जानें →
एक्सपोर्ट सिस्टम
एक नया प्लग करने योग्य एक्सपोर्ट CLI (python -m potato.export) 6 उद्योग-मानक प्रारूपों में एनोटेशन परिवर्तित करता है: COCO, YOLO, Pascal VOC, CoNLL-2003, CoNLL-U, और Segmentation Masks।
python -m potato.export --config config.yaml --format coco --output ./export/एक्सपोर्ट प्रारूपों के बारे में अधिक जानें →
रिमोट डेटा स्रोत
नए data_sources: कॉन्फ़िग ब्लॉक के माध्यम से URL, S3, Google Drive, Dropbox, Hugging Face, Google Sheets, और SQL डेटाबेस से एनोटेशन डेटा लोड करें। आंशिक लोडिंग, कैशिंग, और क्रेडेंशियल प्रबंधन शामिल है।
रिमोट डेटा स्रोतों के बारे में अधिक जानें →
सर्वेक्षण उपकरण
8 श्रेणियों (व्यक्तित्व, मानसिक स्वास्थ्य, प्रभाव, आत्म-अवधारणा, सामाजिक दृष्टिकोण, प्रतिक्रिया शैली, शॉर्ट-फॉर्म, जनसांख्यिकी) में 55 मान्य प्रश्नावली। prestudy/poststudy चरणों में instrument: "tipi" के साथ उपयोग करें।
सर्वेक्षण उपकरणों के बारे में अधिक जानें →
अन्य सुधार
- कीफ्रेम इंटरपोलेशन के साथ वीडियो ऑब्जेक्ट ट्रैकिंग
- बाहरी AI कॉन्फ़िग फ़ाइल समर्थन
- फॉर्म लेआउट ग्रिड सुधार
- PDF, Word, कोड, और स्प्रेडशीट के लिए फॉर्मेट हैंडलर
Potato 2.1.0
5 फरवरी 2026 को जारी
Potato 2.1 इंस्टेंस डिस्प्ले सिस्टम, विज़ुअल AI सपोर्ट, स्पैन लिंकिंग, मल्टी-फील्ड स्पैन एनोटेशन, और लेआउट कस्टमाइज़ेशन पेश करता है।
इंस्टेंस डिस्प्ले सिस्टम
एक नया instance_display कॉन्फ़िग ब्लॉक जो सामग्री प्रदर्शन को एनोटेशन से अलग करता है। किसी भी एनोटेशन स्कीम के साथ छवियों, वीडियो, ऑडियो, पाठ, और संवादों का कोई भी संयोजन प्रदर्शित करें।
instance_display:
fields:
- key: image_url
type: image
display_options:
max_width: 600
zoomable: true
- key: description
type: text
annotation_schemes:
- annotation_type: radio
name: category
labels: [nature, urban, people]text, html, image, video, audio, dialogue, pairwise, code, spreadsheet, document, और pdf सहित 11 डिस्प्ले प्रकारों का समर्थन करता है।
Instance Display के बारे में अधिक जानें →
मल्टी-फील्ड स्पैन एनोटेशन
स्पैन एनोटेशन स्कीम अब एक ही इंस्टेंस में एकाधिक पाठ फील्ड के पार एनोटेट करने के लिए target_field विकल्प का समर्थन करती हैं।
annotation_schemes:
- annotation_type: span
name: source_entities
target_field: "source_text"
labels: [PERSON, ORGANIZATION]
- annotation_type: span
name: summary_entities
target_field: "summary"
labels: [PERSON, ORGANIZATION]Span Annotation के बारे में अधिक जानें →
स्पैन लिंकिंग
एनोटेट किए गए स्पैन के बीच टाइप किए गए संबंध बनाने के लिए एक नया span_link एनोटेशन प्रकार। निर्देशित और अनिर्देशित लिंक, n-ary संबंध, विज़ुअल आर्क डिस्प्ले, और लेबल बाधाओं का समर्थन करता है।
annotation_schemes:
- annotation_type: span
name: entities
labels:
- name: "PERSON"
color: "#3b82f6"
- name: "ORGANIZATION"
color: "#22c55e"
- annotation_type: span_link
name: relations
span_schema: entities
link_types:
- name: "WORKS_FOR"
directed: true
allowed_source_labels: ["PERSON"]
allowed_target_labels: ["ORGANIZATION"]
color: "#dc2626"Span Linking के बारे में अधिक जानें →
विज़ुअल AI सपोर्ट
AI-संचालित छवि और वीडियो एनोटेशन सहायता के लिए चार नए विज़न एंडपॉइंट:
- YOLO — तेज़ स्थानीय ऑब्जेक्ट डिटेक्शन
- Ollama Vision — स्थानीय विज़न-भाषा मॉडल (LLaVA, Qwen-VL)
- OpenAI Vision — GPT-4o क्लाउड विज़न
- Anthropic Vision — विज़न के साथ Claude
सुविधाओं में ऑब्जेक्ट डिटेक्शन, प्री-एनोटेशन, वर्गीकरण, संकेत, दृश्य डिटेक्शन, कीफ्रेम डिटेक्शन, और ऑब्जेक्ट ट्रैकिंग शामिल हैं।
Visual AI Support के बारे में अधिक जानें →
लेआउट कस्टमाइज़ेशन
HTML टेम्पलेट और CSS का उपयोग करके परिष्कृत कस्टम विज़ुअल लेआउट बनाएं। Potato एक संपादन योग्य लेआउट फ़ाइल उत्पन्न करता है, या आप ग्रिड लेआउट, कलर-कोडेड विकल्पों, और सेक्शन स्टाइलिंग के साथ पूरी तरह से कस्टम टेम्पलेट प्रदान कर सकते हैं।
task_layout: layouts/custom_task_layout.htmlतीन उदाहरण लेआउट शामिल हैं: सामग्री मॉडरेशन, डायलॉग QA, और मेडिकल समीक्षा।
Layout Customization के बारे में अधिक जानें →
लेबल तर्क
एक चौथी AI क्षमता जो प्रत्येक लेबल क्यों लागू हो सकती है इसके लिए संतुलित स्पष्टीकरण उत्पन्न करती है, जिससे एनोटेटर विभिन्न वर्गीकरण दृष्टिकोण समझ सकते हैं।
ai_support:
features:
rationales:
enabled: trueAI Support के बारे में अधिक जानें →
अन्य सुधार
- बेहतर विश्वसनीयता के लिए 50+ नए परीक्षण
- रिस्पॉन्सिव डिज़ाइन सुधार
- लेआउट उदाहरणों के साथ बेहतर project-hub संगठन
- एनोटेशन प्रकारों में बग फिक्स
v2.0 बनाम v2.1 तुलना
| सुविधा | v2.0 | v2.1 |
|---|---|---|
| Instance Display | एनोटेशन हैक के माध्यम से | समर्पित instance_display ब्लॉक |
| स्पैन टार्गेट | एकल पाठ फील्ड | target_field के साथ मल्टी-फील्ड |
| स्पैन लिंकिंग | उपलब्ध नहीं | पूर्ण span_link प्रकार |
| विज़ुअल AI | उपलब्ध नहीं | YOLO, Ollama Vision, OpenAI Vision, Anthropic Vision |
| लेआउट कस्टमाइज़ेशन | बुनियादी ऑटो-जेनरेटेड | ऑटो-जेनरेटेड + कस्टम टेम्पलेट |
| AI क्षमताएं | 3 (hints, keywords, suggestions) | 4 (+ rationales) |
Potato 2.0
Potato 2.0 एक प्रमुख रिलीज़ है जो बुद्धिमान, स्केलेबल एनोटेशन के लिए शक्तिशाली नई सुविधाएं पेश करती है। यह खंड प्रमुख जोड़ों और सुधारों को हाइलाइट करता है।
AI सपोर्ट
बुद्धिमान संकेत, कीवर्ड हाइलाइटिंग, और लेबल सुझावों के साथ एनोटेटर की सहायता के लिए Large Language Models को एकीकृत करें।
समर्थित प्रदाता:
- OpenAI (GPT-4, GPT-3.5)
- Anthropic (Claude 3, Claude 3.5)
- Google (Gemini)
- Ollama (स्थानीय मॉडल)
- vLLM (स्व-होस्टेड)
ai_support:
enabled: true
endpoint_type: openai
ai_config:
model: gpt-4
api_key: ${OPENAI_API_KEY}
features:
hints:
enabled: true
label_suggestions:
enabled: trueAI Support के बारे में अधिक जानें →
ऑडियो एनोटेशन
Peaks.js द्वारा संचालित वेवफॉर्म विज़ुअलाइज़ेशन के साथ पूर्ण-विशेषताओं वाला ऑडियो एनोटेशन। सेगमेंट बनाएं, समय क्षेत्रों को लेबल करें, और कीबोर्ड शॉर्टकट के साथ भाषण को एनोटेट करें।
प्रमुख सुविधाएं:
- वेवफॉर्म विज़ुअलाइज़ेशन
- सेगमेंट निर्माण और लेबलिंग
- प्रति-सेगमेंट एनोटेशन प्रश्न
- 15+ कीबोर्ड शॉर्टकट
- सर्वर-साइड वेवफॉर्म कैशिंग
annotation_schemes:
- annotation_type: audio
name: speakers
mode: label
labels:
- Speaker A
- Speaker BAudio Annotation के बारे में अधिक जानें →
एक्टिव लर्निंग
मॉडल अनिश्चितता के आधार पर एनोटेशन इंस्टेंस को स्वचालित रूप से प्राथमिकता दें। मौजूदा एनोटेशन पर क्लासिफायर ट्रेन करें और एनोटेटरों को सबसे जानकारीपूर्ण उदाहरणों पर ध्यान केंद्रित करने में मदद करें।
क्षमताएं:
- एकाधिक क्लासिफायर विकल्प (LogisticRegression, RandomForest, SVC, MultinomialNB)
- विभिन्न वेक्टराइज़र (TF-IDF, Count, Hashing)
- पुनरारंभ के बाद मॉडल की दृढ़ता
- LLM-बढ़ाया चयन
- मल्टी-स्कीमा समर्थन
active_learning:
enabled: true
schema_names:
- sentiment
min_instances_for_training: 30
update_frequency: 50
classifier:
type: LogisticRegressionActive Learning के बारे में अधिक जानें →
ट्रेनिंग चरण
मुख्य कार्य से पहले अभ्यास प्रश्नों के साथ एनोटेटरों को योग्य बनाएं। तत्काल प्रतिक्रिया प्रदान करें और कॉन्फ़िगरेबल पासिंग मानदंड के माध्यम से गुणवत्ता सुनिश्चित करें।
सुविधाएं:
- ज्ञात उत्तरों के साथ अभ्यास प्रश्न
- तत्काल प्रतिक्रिया और स्पष्टीकरण
- कॉन्फ़िगरेबल पासिंग मानदंड
- पुनः प्रयास विकल्प
- एडमिन डैशबोर्ड में प्रगति ट्रैकिंग
phases:
training:
enabled: true
data_file: "data/training.json"
passing_criteria:
min_correct: 8
total_questions: 10Training Phase के बारे में अधिक जानें →
बेहतर एडमिन डैशबोर्ड
एनोटेशन कार्यों के लिए व्यापक निगरानी और प्रबंधन इंटरफ़ेस।
डैशबोर्ड टैब:
- Overview: उच्च-स्तरीय मेट्रिक्स और पूर्णता दरें
- Annotators: प्रदर्शन ट्रैकिंग, टाइमिंग विश्लेषण
- Instances: असहमति स्कोर के साथ डेटा ब्राउज़ करें
- Configuration: रियल-टाइम सेटिंग्स समायोजन
admin_api_key: ${ADMIN_API_KEY}Admin Dashboard के बारे में अधिक जानें →
डेटाबेस बैकएंड
कनेक्शन पूलिंग और ट्रांजेक्शन समर्थन के साथ बड़े पैमाने के डिप्लॉयमेंट के लिए MySQL समर्थन।
database:
type: mysql
host: localhost
database: potato_db
user: ${DB_USER}
password: ${DB_PASSWORD}Potato पहले स्टार्टअप पर स्वचालित रूप से आवश्यक तालिकाएं बनाता है।
एनोटेशन इतिहास
टाइमस्टैम्प, उपयोगकर्ता ID, और क्रिया प्रकारों के साथ सभी एनोटेशन परिवर्तनों की पूर्ण ट्रैकिंग। ऑडिटिंग और व्यवहार विश्लेषण सक्षम करता है।
{
"history": [
{
"timestamp": "2024-01-15T10:30:00Z",
"user": "annotator_1",
"action": "create",
"schema": "sentiment",
"value": "Positive"
}
]
}मल्टी-फेज़ वर्कफ्लो
एकाधिक अनुक्रमिक चरणों के साथ जटिल एनोटेशन कार्यप्रवाह बनाएं:
- Consent - सूचित सहमति संग्रह
- Pre-study - जनसांख्यिकी और स्क्रीनिंग
- Instructions - कार्य दिशानिर्देश
- Training - अभ्यास प्रश्न
- Annotation - मुख्य कार्य
- Post-study - प्रतिक्रिया सर्वेक्षण
phases:
consent:
enabled: true
data_file: "data/consent.json"
prestudy:
enabled: true
data_file: "data/demographics.json"
training:
enabled: true
data_file: "data/training.json"
poststudy:
enabled: true
data_file: "data/feedback.json"Multi-Phase Workflows के बारे में अधिक जानें →
v2.0 कॉन्फ़िगरेशन परिवर्तन
नई कॉन्फ़िगरेशन संरचना
Potato 2.0 एक स्वच्छ कॉन्फ़िगरेशन प्रारूप का उपयोग करता है:
v1 (पुराना):
data_files:
- data.json
id_key: id
text_key: text
output_file: annotations.jsonv2 (नया):
data_files:
- "data/data.json"
item_properties:
id_key: id
text_key: text
output_annotation_dir: "output/"
output_annotation_format: "json"सुरक्षा आवश्यकता
कॉन्फ़िगरेशन फ़ाइलें अब task_dir के अंदर होनी चाहिए:
# Valid - config.yaml is in the project directory
task_dir: "."
# Valid - config in configs/ subdirectory
task_dir: "my_project/"त्वरित तुलना
| सुविधा | v1 | v2.0 | v2.1 | v2.2 | v2.3 |
|---|---|---|---|---|---|
| AI/LLM समर्थन | नहीं | हाँ | हाँ + Visual AI + Rationales | + Option Highlighting | + Solo Mode |
| एजेंटिक एनोटेशन | नहीं | नहीं | नहीं | नहीं | 12 कन्वर्टर, 3 डिस्प्ले |
| Best-Worst Scaling | नहीं | नहीं | नहीं | नहीं | हाँ (3 स्कोरिंग विधियाँ) |
| ऑडियो एनोटेशन | बुनियादी | पूर्ण वेवफॉर्म | पूर्ण वेवफॉर्म | पूर्ण वेवफॉर्म | पूर्ण वेवफॉर्म |
| एक्टिव लर्निंग | नहीं | हाँ | हाँ | हाँ + Diversity Ordering | + Solo Mode एकीकरण |
| Instance Display | नहीं | नहीं | हाँ | हाँ | हाँ |
| स्पैन लिंकिंग | नहीं | नहीं | हाँ | हाँ | हाँ |
| Event Annotation | नहीं | नहीं | नहीं | हाँ | हाँ |
| Entity Linking | नहीं | नहीं | नहीं | हाँ | हाँ |
| Pairwise/Triage/Coreference/Trees | नहीं | नहीं | नहीं | हाँ | हाँ |
| लेआउट कस्टमाइज़ेशन | नहीं | ऑटो-जेनरेटेड | ऑटो + कस्टम टेम्पलेट | ऑटो + कस्टम टेम्पलेट | ऑटो + कस्टम टेम्पलेट |
| ट्रेनिंग चरण | नहीं | हाँ | हाँ | हाँ | हाँ |
| एडमिन डैशबोर्ड | बुनियादी | बेहतर | बेहतर | बेहतर + MACE | + BWS टैब, Solo Mode |
| डेटाबेस बैकएंड | केवल फ़ाइल | फ़ाइल + MySQL | फ़ाइल + MySQL | फ़ाइल + MySQL | फ़ाइल + MySQL |
| एक्सपोर्ट CLI | नहीं | नहीं | नहीं | हाँ (COCO, YOLO, CoNLL, आदि) | + Parquet |
| प्रमाणीकरण | उपयोगकर्ता नाम | उपयोगकर्ता नाम | उपयोगकर्ता नाम | उपयोगकर्ता नाम | + Google/GitHub OAuth, OIDC |
| सर्वेक्षण उपकरण | नहीं | नहीं | नहीं | 55 मान्य प्रश्नावली | 55 मान्य प्रश्नावली |
| रिमोट डेटा स्रोत | नहीं | नहीं | नहीं | S3, GDrive, HuggingFace, आदि | S3, GDrive, HuggingFace, आदि |
माइग्रेशन गाइड
अपनी कॉन्फ़िगरेशन अपडेट करना (v1 से v2)
-
डेटा कॉन्फ़िगरेशन
yaml# Old id_key: id text_key: text # New item_properties: id_key: id text_key: text -
आउटपुट कॉन्फ़िगरेशन
yaml# Old output_file: annotations.json # New output_annotation_dir: "output/" output_annotation_format: "json" -
कॉन्फ़िग फ़ाइल स्थान सुनिश्चित करें कि आपकी कॉन्फ़िग फ़ाइल प्रोजेक्ट डायरेक्टरी के अंदर है।
सर्वर शुरू करना
# v2 command
python -m potato start config.yaml -p 8000
# Or shorthand
potato start config.yamlशुरू करें
Potato आज़माने के लिए तैयार हैं? Quick Start Guide से शुरू करें या विशिष्ट सुविधाएं देखें:
v2.3 सुविधाएं:
- Agentic Annotation - 12 कन्वर्टर और 3 डिस्प्ले प्रकारों के साथ AI एजेंट का मूल्यांकन करें
- Solo Mode - मानव-LLM सहयोगी लेबलिंग
- Best-Worst Scaling - स्कोरिंग के साथ तुलनात्मक एनोटेशन
- SSO और OAuth - Google, GitHub, और OIDC प्रमाणीकरण
- Parquet Export - कॉलमर डेटा एक्सपोर्ट
v2.2 सुविधाएं:
- Event Annotation - N-ary इवेंट संरचनाएं
- Entity Linking - नॉलेज बेस लिंकिंग
- Triage - तेज़ डेटा स्क्रीनिंग
- Coreference Chains - इकाई सहसंदर्भ
- Conversation Trees - पदानुक्रमित संवाद एनोटेशन
- MACE - एनोटेटर योग्यता अनुमान
- Option Highlighting - AI-सहायता प्राप्त विकल्प मार्गदर्शन
- Diversity Ordering - एम्बेडिंग-आधारित आइटम क्रम
- Export Formats - 6 प्रारूपों के साथ एक्सपोर्ट CLI
- Remote Data Sources - क्लाउड डेटा लोडिंग
- Survey Instruments - 55 मान्य प्रश्नावली
v2.1 सुविधाएं:
- Instance Display - मल्टी-मोडल सामग्री प्रदर्शन
- Visual AI Support - छवि और वीडियो एनोटेशन के लिए AI
- Span Linking - इकाई संबंध एनोटेशन
मुख्य सुविधाएं:
- AI Support - बुद्धिमान एनोटेशन सहायता
- Active Learning - स्मार्ट इंस्टेंस प्राथमिकता
- Audio Annotation - वेवफॉर्म-आधारित एनोटेशन
- Training Phase - एनोटेटर योग्यता
- Admin Dashboard - निगरानी और प्रबंधन