Skip to content
Esta página aún no está disponible en su idioma. Se muestra la versión en inglés.

नया क्या है

Potato v2.x रिलीज़ में नई सुविधाओं और सुधारों का अवलोकन।

नया क्या है

यह पृष्ठ Potato v2.x रिलीज़ में नई सुविधाओं और सुधारों को कवर करता है।


Potato 2.3.0

9 मार्च 2026 को जारी

Potato 2.3 Potato के इतिहास में सबसे बड़ी रिलीज़ है, जिसमें एजेंटिक एनोटेशन, Solo Mode, Best-Worst Scaling, SSO/OAuth प्रमाणीकरण, Parquet एक्सपोर्ट, 15 नए डेमो प्रोजेक्ट, और सुरक्षा कड़ाई शामिल हैं।

एजेंटिक एनोटेशन

मानव एनोटेशन के माध्यम से AI एजेंटों का मूल्यांकन करने के लिए एक पूर्ण प्रणाली। इसमें 12 ट्रेस फॉर्मेट कन्वर्टर, 3 विशेष डिस्प्ले प्रकार, और 9 पूर्व-निर्मित एनोटेशन स्कीमा शामिल हैं।

12 ट्रेस फॉर्मेट कन्वर्टर — OpenAI, Anthropic, SWE-bench, OpenTelemetry, MCP, CrewAI/AutoGen/LangGraph, LangChain, LangFuse, ReAct, WebArena/VisualWebArena, ATIF, और रॉ ब्राउज़र रिकॉर्डिंग से एजेंट ट्रेस आयात करें। ऑटो-डिटेक्शन उपलब्ध है।

yaml
agentic:
  enabled: true
  trace_converter: react       # or openai, anthropic, webarena, auto, etc.
  trace_file: "data/traces.jsonl"

3 डिस्प्ले प्रकार:

  • Agent Trace Display — कलर-कोडेड स्टेप कार्ड, कोलैप्सिबल ऑब्जर्वेशन, JSON प्रिटी-प्रिंटिंग, और टूल-उपयोग करने वाले एजेंटों के लिए टाइमलाइन साइडबार
  • Web Agent Trace Display — SVG ओवरले के साथ पूर्ण स्क्रीनशॉट जो क्लिक टार्गेट, टेक्स्ट इनपुट, और स्क्रॉल क्रियाएं दिखाता है; ब्राउज़िंग एजेंटों के लिए फिल्मस्ट्रिप नेविगेशन
  • Interactive Chat Display — लाइव चैट मोड (एनोटेटर प्रॉक्सी के माध्यम से एजेंट के साथ इंटरैक्ट करता है) और वार्तालाप एजेंटों के लिए ट्रेस समीक्षा मोड

प्रति-टर्न रेटिंग — सूक्ष्म मूल्यांकन के लिए समग्र ट्रेस के साथ-साथ अलग-अलग चरणों को रेट करें।

9 पूर्व-निर्मित स्कीमाagent_task_success, agent_step_correctness, agent_error_taxonomy, agent_safety, agent_efficiency, agent_instruction_following, agent_explanation_quality, agent_web_action_correctness, agent_conversation_quality

Agent Proxy System — लाइव एजेंट मूल्यांकन के लिए OpenAI, HTTP, और echo प्रॉक्सी।

एजेंटिक एनोटेशन के बारे में अधिक जानें →


Solo Mode

एक 12-चरण बुद्धिमान कार्यप्रवाह जहाँ एक एकल मानव एनोटेटर पूरे डेटासेट को लेबल करने के लिए LLM के साथ सहयोग करता है, जिससे कुल मानव लेबलों के केवल 10-15% की आवश्यकता के साथ मल्टी-एनोटेटर पाइपलाइनों के साथ 95%+ सहमति प्राप्त होती है।

12 चरण:

  1. Seed Annotation — मानव 50 विविध उदाहरणों को लेबल करता है
  2. Initial LLM Calibration — LLM बीज उदाहरणों का उपयोग करके लेबल करता है
  3. Confusion Analysis — व्यवस्थित असहमति पैटर्न पहचानें
  4. Guideline Refinement — LLM प्रस्तावित करता है, मानव अद्यतन दिशानिर्देश अनुमोदित करता है
  5. Labeling Function Generation — ALCHEmist-प्रेरित प्रोग्रामेटिक नियम
  6. Active Labeling — मानव सबसे जानकारीपूर्ण उदाहरणों को लेबल करता है
  7. Automated Refinement Loop — बेहतर दिशानिर्देशों के साथ पुनरावृत्त पुनः-लेबलिंग
  8. Disagreement Exploration — मानव LLM/LF संघर्षों को हल करता है
  9. Edge Case Synthesis — LLM मानव लेबलिंग के लिए अस्पष्ट उदाहरण उत्पन्न करता है
  10. Cascaded Confidence Escalation — मानव सबसे कम-आत्मविश्वास वाले लेबलों की समीक्षा करता है
  11. Prompt Optimization — DSPy-प्रेरित स्वचालित प्रॉम्प्ट खोज
  12. Final Validation — यादृच्छिक नमूना समीक्षा
yaml
solo_mode:
  enabled: true
  llm:
    endpoint_type: openai
    model: "gpt-4o"
    api_key: ${OPENAI_API_KEY}
  seed_count: 50
  accuracy_threshold: 0.92

Multi-Signal Instance Prioritization — सबसे मूल्यवान उदाहरणों का चयन करने के लिए 6 भारित पूल (uncertain, disagreement, boundary, novel, error_pattern, random)।

Solo Mode के बारे में अधिक जानें →


Best-Worst Scaling

कुशल तुलनात्मक एनोटेशन जहाँ एनोटेटर टुपल से सर्वोत्तम और सबसे खराब आइटम चुनते हैं। संतुलित अधूरे ब्लॉक डिज़ाइन के साथ स्वचालित टुपल निर्माण और तीन स्कोरिंग विधियाँ (Counting, Bradley-Terry, Plackett-Luce)।

yaml
annotation_schemes:
  - annotation_type: best_worst_scaling
    name: fluency
    items_key: "translations"
    tuple_size: 4
    best_label: "Most Fluent"
    worst_label: "Least Fluent"
    scoring:
      method: bradley_terry

Best-Worst Scaling के बारे में अधिक जानें →


SSO और OAuth प्रमाणीकरण

Google OAuth (डोमेन प्रतिबंध), GitHub OAuth (संगठन प्रतिबंध), और जेनेरिक OIDC (Okta, Azure AD, Auth0, Keycloak) के साथ प्रोडक्शन-तैयार प्रमाणीकरण। ऑटो-रजिस्ट्रेशन, मिश्रित मोड, और सत्र प्रबंधन का समर्थन करता है।

yaml
authentication:
  method: google_oauth
  google_oauth:
    client_id: ${GOOGLE_CLIENT_ID}
    client_secret: ${GOOGLE_CLIENT_SECRET}
    allowed_domains:
      - "umich.edu"
    auto_register: true

SSO और OAuth के बारे में अधिक जानें →


Parquet एक्सपोर्ट

Apache Parquet फॉर्मेट में एनोटेशन एक्सपोर्ट करें, जो तीन संरचित फ़ाइलें उत्पन्न करता है: annotations.parquet, spans.parquet, और items.parquet। snappy, gzip, zstd, lz4, और brotli कम्प्रेशन, इंक्रीमेंटल एक्सपोर्ट, और दिनांक/एनोटेटर पार्टीशनिंग का समर्थन करता है। pandas, DuckDB, PyArrow, Polars, और Hugging Face Datasets के साथ संगत।

yaml
parquet_export:
  enabled: true
  output_dir: "output/parquet/"
  compression: zstd
  auto_export: true

Parquet एक्सपोर्ट के बारे में अधिक जानें →


15 नए डेमो प्रोजेक्ट

project-hub/ में नए डेमो जो एजेंटिक एनोटेशन (5 डेमो), Solo Mode (3 डेमो), Best-Worst Scaling (3 डेमो), प्रमाणीकरण (2 डेमो), और एक्सपोर्ट कार्यप्रवाह (2 डेमो) को कवर करते हैं। कोई भी डेमो potato start config.yaml से शुरू करें।


सुरक्षा कड़ाई

  • कॉन्फ़िगरेबल समाप्ति के साथ क्रिप्टोग्राफिक रूप से सुरक्षित सत्र टोकन
  • डिफ़ॉल्ट रूप से CSRF सुरक्षा सक्षम
  • प्रमाणीकरण एंडपॉइंट पर दर सीमित करना
  • उपयोगकर्ता-प्रदत्त सामग्री के लिए इनपुट सैनिटाइज़ेशन
  • सभी पैकेजों के साथ डिपेंडेंसी ऑडिट अपडेट
  • Content Security Policy हेडर

अन्य सुधार

  • असमर्थित एजेंट फ्रेमवर्क के लिए कस्टम ट्रेस कन्वर्टर
  • मल्टी-एनोटेटर सत्यापन नमूनाकरण के साथ हाइब्रिड Solo Mode
  • स्कोर कन्वर्जेंस चार्ट के साथ BWS एडमिन डैशबोर्ड टैब
  • दिनांक पार्टीशनिंग के साथ इंक्रीमेंटल Parquet एक्सपोर्ट

v2.2 बनाम v2.3 तुलना

सुविधाv2.2v2.3
एजेंटिक एनोटेशनउपलब्ध नहीं12 कन्वर्टर, 3 डिस्प्ले, 9 स्कीमा
Solo Modeउपलब्ध नहीं12-चरण मानव-LLM कार्यप्रवाह
Best-Worst Scalingउपलब्ध नहीं3 स्कोरिंग विधियों के साथ BWS
प्रमाणीकरणकेवल उपयोगकर्ता नाम+ Google OAuth, GitHub OAuth, OIDC
Parquet एक्सपोर्टउपलब्ध नहीं6 कम्प्रेशन विकल्पों के साथ 3-फ़ाइल Parquet
डेमो प्रोजेक्ट125+140+ (15 नए)
सुरक्षाबुनियादीCSRF, दर सीमित करना, CSP, सुरक्षित सत्र

Potato 2.2.0

20 फरवरी 2026 को जारी

Potato 2.2 एक प्रमुख फीचर रिलीज़ है जिसमें 9 नए एनोटेशन स्कीमा, एक प्लग करने योग्य एक्सपोर्ट सिस्टम, MACE योग्यता अनुमान, 55 मान्य सर्वेक्षण उपकरण, और रिमोट डेटा स्रोत शामिल हैं।

नए एनोटेशन स्कीमा (9)

Event Annotation — ट्रिगर स्पैन और टाइप किए गए तर्क भूमिकाओं के साथ N-ary इवेंट संरचनाएं। बाधित इकाई तर्कों और हब-स्पोक आर्क विज़ुअलाइज़ेशन के साथ ATTACK, HIRE, और TRAVEL जैसी घटनाओं को एनोटेट करें।

yaml
annotation_schemes:
  - annotation_type: event_annotation
    name: events
    span_schema: entities
    event_types:
      - type: "ATTACK"
        trigger_labels: ["EVENT_TRIGGER"]
        arguments:
          - role: "attacker"
            entity_types: ["PERSON", "ORGANIZATION"]
            required: true

Event Annotation के बारे में अधिक जानें →

Entity Linking — बाहरी नॉलेज बेस (Wikidata, UMLS, कस्टम REST API) से स्पैन एनोटेशन लिंक करें। KB खोज और लिंकिंग सक्षम करने के लिए किसी भी स्पैन स्कीमा में entity_linking: ब्लॉक जोड़ें।

Entity Linking के बारे में अधिक जानें →

Triage — तेज़ डेटा स्क्रीनिंग के लिए Prodigy-स्टाइल accept/reject/skip इंटरफ़ेस। उच्च-थ्रूपुट एनोटेशन के लिए कस्टमाइज़ योग्य लेबल, कीबोर्ड शॉर्टकट, और ऑटो-एडवांस।

Triage के बारे में अधिक जानें →

Pairwise Comparison — बाइनरी (पसंदीदा टाइल क्लिक करें) या स्केल (स्लाइडर) मोड के साथ दो आइटम की तुलना करें। items_key, allow_tie, कॉन्फ़िगरेबल रेंज के साथ scale: ब्लॉक का समर्थन करता है।

Pairwise Comparison के बारे में अधिक जानें →

Conversation Trees — प्रति-नोड रेटिंग, पथ चयन, और शाखा तुलना के साथ पदानुक्रमित वार्तालाप संरचनाओं को एनोटेट करें।

Conversation Trees के बारे में अधिक जानें →

Coreference Chains — दृश्य संकेतकों के साथ सहसंदर्भित पाठ उल्लेखों को चेन में समूहित करें। इकाई प्रकार, सिंगलटन नियंत्रण, और एकाधिक हाइलाइट मोड का समर्थन करता है।

Coreference Chains के बारे में अधिक जानें →

Segmentation Masks — पिक्सेल-स्तरीय छवि सेगमेंटेशन के लिए नए fill, eraser, और brush टूल।

Bounding Box for PDF/Documents — दस्तावेज़ एनोटेशन कार्यों के लिए PDF पृष्ठों पर बॉक्स बनाएं।

Discontinuous Spansallow_discontinuous: true एकल स्पैन के रूप में गैर-सन्निहित पाठ खंडों का चयन सक्षम करता है।


बुद्धिमान एनोटेशन

MACE Competence Estimation — वेरिएशनल Bayes EM एल्गोरिदम जो संयुक्त रूप से सच्चे लेबल और एनोटेटर योग्यता स्कोर (0.0-1.0) का अनुमान लगाता है। radio, likert, select, और multiselect स्कीमा के साथ काम करता है।

yaml
mace:
  enabled: true
  trigger_every_n: 10
  min_annotations_per_item: 3

MACE के बारे में अधिक जानें →

Option Highlighting — असतत एनोटेशन कार्यों के लिए LLM-आधारित संभावित सही विकल्पों की हाइलाइटिंग। कम-संभावित विकल्पों को कम करते हुए स्टार इंडिकेटर के साथ शीर्ष-k विकल्पों को हाइलाइट करता है।

yaml
ai_support:
  option_highlighting:
    enabled: true
    top_k: 3
    dim_opacity: 0.4

Option Highlighting के बारे में अधिक जानें →

Diversity Ordering — एनोटेटर क्रम में समान आइटम के बजाय विविध सामग्री देखें, यह सुनिश्चित करने के लिए एम्बेडिंग-आधारित क्लस्टरिंग और राउंड-रॉबिन सैंपलिंग।

yaml
assignment_strategy: diversity_clustering
diversity_ordering:
  enabled: true
  prefill_count: 100

Diversity Ordering के बारे में अधिक जानें →


एक्सपोर्ट सिस्टम

एक नया प्लग करने योग्य एक्सपोर्ट CLI (python -m potato.export) 6 उद्योग-मानक प्रारूपों में एनोटेशन परिवर्तित करता है: COCO, YOLO, Pascal VOC, CoNLL-2003, CoNLL-U, और Segmentation Masks।

bash
python -m potato.export --config config.yaml --format coco --output ./export/

एक्सपोर्ट प्रारूपों के बारे में अधिक जानें →


रिमोट डेटा स्रोत

नए data_sources: कॉन्फ़िग ब्लॉक के माध्यम से URL, S3, Google Drive, Dropbox, Hugging Face, Google Sheets, और SQL डेटाबेस से एनोटेशन डेटा लोड करें। आंशिक लोडिंग, कैशिंग, और क्रेडेंशियल प्रबंधन शामिल है।

रिमोट डेटा स्रोतों के बारे में अधिक जानें →


सर्वेक्षण उपकरण

8 श्रेणियों (व्यक्तित्व, मानसिक स्वास्थ्य, प्रभाव, आत्म-अवधारणा, सामाजिक दृष्टिकोण, प्रतिक्रिया शैली, शॉर्ट-फॉर्म, जनसांख्यिकी) में 55 मान्य प्रश्नावली। prestudy/poststudy चरणों में instrument: "tipi" के साथ उपयोग करें।

सर्वेक्षण उपकरणों के बारे में अधिक जानें →


अन्य सुधार

  • कीफ्रेम इंटरपोलेशन के साथ वीडियो ऑब्जेक्ट ट्रैकिंग
  • बाहरी AI कॉन्फ़िग फ़ाइल समर्थन
  • फॉर्म लेआउट ग्रिड सुधार
  • PDF, Word, कोड, और स्प्रेडशीट के लिए फॉर्मेट हैंडलर

Potato 2.1.0

5 फरवरी 2026 को जारी

Potato 2.1 इंस्टेंस डिस्प्ले सिस्टम, विज़ुअल AI सपोर्ट, स्पैन लिंकिंग, मल्टी-फील्ड स्पैन एनोटेशन, और लेआउट कस्टमाइज़ेशन पेश करता है।

इंस्टेंस डिस्प्ले सिस्टम

एक नया instance_display कॉन्फ़िग ब्लॉक जो सामग्री प्रदर्शन को एनोटेशन से अलग करता है। किसी भी एनोटेशन स्कीम के साथ छवियों, वीडियो, ऑडियो, पाठ, और संवादों का कोई भी संयोजन प्रदर्शित करें।

yaml
instance_display:
  fields:
    - key: image_url
      type: image
      display_options:
        max_width: 600
        zoomable: true
    - key: description
      type: text
 
annotation_schemes:
  - annotation_type: radio
    name: category
    labels: [nature, urban, people]

text, html, image, video, audio, dialogue, pairwise, code, spreadsheet, document, और pdf सहित 11 डिस्प्ले प्रकारों का समर्थन करता है।

Instance Display के बारे में अधिक जानें →


मल्टी-फील्ड स्पैन एनोटेशन

स्पैन एनोटेशन स्कीम अब एक ही इंस्टेंस में एकाधिक पाठ फील्ड के पार एनोटेट करने के लिए target_field विकल्प का समर्थन करती हैं।

yaml
annotation_schemes:
  - annotation_type: span
    name: source_entities
    target_field: "source_text"
    labels: [PERSON, ORGANIZATION]
 
  - annotation_type: span
    name: summary_entities
    target_field: "summary"
    labels: [PERSON, ORGANIZATION]

Span Annotation के बारे में अधिक जानें →


स्पैन लिंकिंग

एनोटेट किए गए स्पैन के बीच टाइप किए गए संबंध बनाने के लिए एक नया span_link एनोटेशन प्रकार। निर्देशित और अनिर्देशित लिंक, n-ary संबंध, विज़ुअल आर्क डिस्प्ले, और लेबल बाधाओं का समर्थन करता है।

yaml
annotation_schemes:
  - annotation_type: span
    name: entities
    labels:
      - name: "PERSON"
        color: "#3b82f6"
      - name: "ORGANIZATION"
        color: "#22c55e"
 
  - annotation_type: span_link
    name: relations
    span_schema: entities
    link_types:
      - name: "WORKS_FOR"
        directed: true
        allowed_source_labels: ["PERSON"]
        allowed_target_labels: ["ORGANIZATION"]
        color: "#dc2626"

Span Linking के बारे में अधिक जानें →


विज़ुअल AI सपोर्ट

AI-संचालित छवि और वीडियो एनोटेशन सहायता के लिए चार नए विज़न एंडपॉइंट:

  • YOLO — तेज़ स्थानीय ऑब्जेक्ट डिटेक्शन
  • Ollama Vision — स्थानीय विज़न-भाषा मॉडल (LLaVA, Qwen-VL)
  • OpenAI Vision — GPT-4o क्लाउड विज़न
  • Anthropic Vision — विज़न के साथ Claude

सुविधाओं में ऑब्जेक्ट डिटेक्शन, प्री-एनोटेशन, वर्गीकरण, संकेत, दृश्य डिटेक्शन, कीफ्रेम डिटेक्शन, और ऑब्जेक्ट ट्रैकिंग शामिल हैं।

Visual AI Support के बारे में अधिक जानें →


लेआउट कस्टमाइज़ेशन

HTML टेम्पलेट और CSS का उपयोग करके परिष्कृत कस्टम विज़ुअल लेआउट बनाएं। Potato एक संपादन योग्य लेआउट फ़ाइल उत्पन्न करता है, या आप ग्रिड लेआउट, कलर-कोडेड विकल्पों, और सेक्शन स्टाइलिंग के साथ पूरी तरह से कस्टम टेम्पलेट प्रदान कर सकते हैं।

yaml
task_layout: layouts/custom_task_layout.html

तीन उदाहरण लेआउट शामिल हैं: सामग्री मॉडरेशन, डायलॉग QA, और मेडिकल समीक्षा।

Layout Customization के बारे में अधिक जानें →


लेबल तर्क

एक चौथी AI क्षमता जो प्रत्येक लेबल क्यों लागू हो सकती है इसके लिए संतुलित स्पष्टीकरण उत्पन्न करती है, जिससे एनोटेटर विभिन्न वर्गीकरण दृष्टिकोण समझ सकते हैं।

yaml
ai_support:
  features:
    rationales:
      enabled: true

AI Support के बारे में अधिक जानें →


अन्य सुधार

  • बेहतर विश्वसनीयता के लिए 50+ नए परीक्षण
  • रिस्पॉन्सिव डिज़ाइन सुधार
  • लेआउट उदाहरणों के साथ बेहतर project-hub संगठन
  • एनोटेशन प्रकारों में बग फिक्स

v2.0 बनाम v2.1 तुलना

सुविधाv2.0v2.1
Instance Displayएनोटेशन हैक के माध्यम सेसमर्पित instance_display ब्लॉक
स्पैन टार्गेटएकल पाठ फील्डtarget_field के साथ मल्टी-फील्ड
स्पैन लिंकिंगउपलब्ध नहींपूर्ण span_link प्रकार
विज़ुअल AIउपलब्ध नहींYOLO, Ollama Vision, OpenAI Vision, Anthropic Vision
लेआउट कस्टमाइज़ेशनबुनियादी ऑटो-जेनरेटेडऑटो-जेनरेटेड + कस्टम टेम्पलेट
AI क्षमताएं3 (hints, keywords, suggestions)4 (+ rationales)

Potato 2.0

Potato 2.0 एक प्रमुख रिलीज़ है जो बुद्धिमान, स्केलेबल एनोटेशन के लिए शक्तिशाली नई सुविधाएं पेश करती है। यह खंड प्रमुख जोड़ों और सुधारों को हाइलाइट करता है।

AI सपोर्ट

बुद्धिमान संकेत, कीवर्ड हाइलाइटिंग, और लेबल सुझावों के साथ एनोटेटर की सहायता के लिए Large Language Models को एकीकृत करें।

समर्थित प्रदाता:

  • OpenAI (GPT-4, GPT-3.5)
  • Anthropic (Claude 3, Claude 3.5)
  • Google (Gemini)
  • Ollama (स्थानीय मॉडल)
  • vLLM (स्व-होस्टेड)
yaml
ai_support:
  enabled: true
  endpoint_type: openai
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
  features:
    hints:
      enabled: true
    label_suggestions:
      enabled: true

AI Support के बारे में अधिक जानें →


ऑडियो एनोटेशन

Peaks.js द्वारा संचालित वेवफॉर्म विज़ुअलाइज़ेशन के साथ पूर्ण-विशेषताओं वाला ऑडियो एनोटेशन। सेगमेंट बनाएं, समय क्षेत्रों को लेबल करें, और कीबोर्ड शॉर्टकट के साथ भाषण को एनोटेट करें।

प्रमुख सुविधाएं:

  • वेवफॉर्म विज़ुअलाइज़ेशन
  • सेगमेंट निर्माण और लेबलिंग
  • प्रति-सेगमेंट एनोटेशन प्रश्न
  • 15+ कीबोर्ड शॉर्टकट
  • सर्वर-साइड वेवफॉर्म कैशिंग
yaml
annotation_schemes:
  - annotation_type: audio
    name: speakers
    mode: label
    labels:
      - Speaker A
      - Speaker B

Audio Annotation के बारे में अधिक जानें →


एक्टिव लर्निंग

मॉडल अनिश्चितता के आधार पर एनोटेशन इंस्टेंस को स्वचालित रूप से प्राथमिकता दें। मौजूदा एनोटेशन पर क्लासिफायर ट्रेन करें और एनोटेटरों को सबसे जानकारीपूर्ण उदाहरणों पर ध्यान केंद्रित करने में मदद करें।

क्षमताएं:

  • एकाधिक क्लासिफायर विकल्प (LogisticRegression, RandomForest, SVC, MultinomialNB)
  • विभिन्न वेक्टराइज़र (TF-IDF, Count, Hashing)
  • पुनरारंभ के बाद मॉडल की दृढ़ता
  • LLM-बढ़ाया चयन
  • मल्टी-स्कीमा समर्थन
yaml
active_learning:
  enabled: true
  schema_names:
    - sentiment
  min_instances_for_training: 30
  update_frequency: 50
  classifier:
    type: LogisticRegression

Active Learning के बारे में अधिक जानें →


ट्रेनिंग चरण

मुख्य कार्य से पहले अभ्यास प्रश्नों के साथ एनोटेटरों को योग्य बनाएं। तत्काल प्रतिक्रिया प्रदान करें और कॉन्फ़िगरेबल पासिंग मानदंड के माध्यम से गुणवत्ता सुनिश्चित करें।

सुविधाएं:

  • ज्ञात उत्तरों के साथ अभ्यास प्रश्न
  • तत्काल प्रतिक्रिया और स्पष्टीकरण
  • कॉन्फ़िगरेबल पासिंग मानदंड
  • पुनः प्रयास विकल्प
  • एडमिन डैशबोर्ड में प्रगति ट्रैकिंग
yaml
phases:
  training:
    enabled: true
    data_file: "data/training.json"
    passing_criteria:
      min_correct: 8
      total_questions: 10

Training Phase के बारे में अधिक जानें →


बेहतर एडमिन डैशबोर्ड

एनोटेशन कार्यों के लिए व्यापक निगरानी और प्रबंधन इंटरफ़ेस।

डैशबोर्ड टैब:

  • Overview: उच्च-स्तरीय मेट्रिक्स और पूर्णता दरें
  • Annotators: प्रदर्शन ट्रैकिंग, टाइमिंग विश्लेषण
  • Instances: असहमति स्कोर के साथ डेटा ब्राउज़ करें
  • Configuration: रियल-टाइम सेटिंग्स समायोजन
yaml
admin_api_key: ${ADMIN_API_KEY}

Admin Dashboard के बारे में अधिक जानें →


डेटाबेस बैकएंड

कनेक्शन पूलिंग और ट्रांजेक्शन समर्थन के साथ बड़े पैमाने के डिप्लॉयमेंट के लिए MySQL समर्थन।

yaml
database:
  type: mysql
  host: localhost
  database: potato_db
  user: ${DB_USER}
  password: ${DB_PASSWORD}

Potato पहले स्टार्टअप पर स्वचालित रूप से आवश्यक तालिकाएं बनाता है।


एनोटेशन इतिहास

टाइमस्टैम्प, उपयोगकर्ता ID, और क्रिया प्रकारों के साथ सभी एनोटेशन परिवर्तनों की पूर्ण ट्रैकिंग। ऑडिटिंग और व्यवहार विश्लेषण सक्षम करता है।

json
{
  "history": [
    {
      "timestamp": "2024-01-15T10:30:00Z",
      "user": "annotator_1",
      "action": "create",
      "schema": "sentiment",
      "value": "Positive"
    }
  ]
}

मल्टी-फेज़ वर्कफ्लो

एकाधिक अनुक्रमिक चरणों के साथ जटिल एनोटेशन कार्यप्रवाह बनाएं:

  1. Consent - सूचित सहमति संग्रह
  2. Pre-study - जनसांख्यिकी और स्क्रीनिंग
  3. Instructions - कार्य दिशानिर्देश
  4. Training - अभ्यास प्रश्न
  5. Annotation - मुख्य कार्य
  6. Post-study - प्रतिक्रिया सर्वेक्षण
yaml
phases:
  consent:
    enabled: true
    data_file: "data/consent.json"
  prestudy:
    enabled: true
    data_file: "data/demographics.json"
  training:
    enabled: true
    data_file: "data/training.json"
  poststudy:
    enabled: true
    data_file: "data/feedback.json"

Multi-Phase Workflows के बारे में अधिक जानें →


v2.0 कॉन्फ़िगरेशन परिवर्तन

नई कॉन्फ़िगरेशन संरचना

Potato 2.0 एक स्वच्छ कॉन्फ़िगरेशन प्रारूप का उपयोग करता है:

v1 (पुराना):

yaml
data_files:
  - data.json
id_key: id
text_key: text
output_file: annotations.json

v2 (नया):

yaml
data_files:
  - "data/data.json"
 
item_properties:
  id_key: id
  text_key: text
 
output_annotation_dir: "output/"
output_annotation_format: "json"

सुरक्षा आवश्यकता

कॉन्फ़िगरेशन फ़ाइलें अब task_dir के अंदर होनी चाहिए:

yaml
# Valid - config.yaml is in the project directory
task_dir: "."
 
# Valid - config in configs/ subdirectory
task_dir: "my_project/"

त्वरित तुलना

सुविधाv1v2.0v2.1v2.2v2.3
AI/LLM समर्थननहींहाँहाँ + Visual AI + Rationales+ Option Highlighting+ Solo Mode
एजेंटिक एनोटेशननहींनहींनहींनहीं12 कन्वर्टर, 3 डिस्प्ले
Best-Worst Scalingनहींनहींनहींनहींहाँ (3 स्कोरिंग विधियाँ)
ऑडियो एनोटेशनबुनियादीपूर्ण वेवफॉर्मपूर्ण वेवफॉर्मपूर्ण वेवफॉर्मपूर्ण वेवफॉर्म
एक्टिव लर्निंगनहींहाँहाँहाँ + Diversity Ordering+ Solo Mode एकीकरण
Instance Displayनहींनहींहाँहाँहाँ
स्पैन लिंकिंगनहींनहींहाँहाँहाँ
Event Annotationनहींनहींनहींहाँहाँ
Entity Linkingनहींनहींनहींहाँहाँ
Pairwise/Triage/Coreference/Treesनहींनहींनहींहाँहाँ
लेआउट कस्टमाइज़ेशननहींऑटो-जेनरेटेडऑटो + कस्टम टेम्पलेटऑटो + कस्टम टेम्पलेटऑटो + कस्टम टेम्पलेट
ट्रेनिंग चरणनहींहाँहाँहाँहाँ
एडमिन डैशबोर्डबुनियादीबेहतरबेहतरबेहतर + MACE+ BWS टैब, Solo Mode
डेटाबेस बैकएंडकेवल फ़ाइलफ़ाइल + MySQLफ़ाइल + MySQLफ़ाइल + MySQLफ़ाइल + MySQL
एक्सपोर्ट CLIनहींनहींनहींहाँ (COCO, YOLO, CoNLL, आदि)+ Parquet
प्रमाणीकरणउपयोगकर्ता नामउपयोगकर्ता नामउपयोगकर्ता नामउपयोगकर्ता नाम+ Google/GitHub OAuth, OIDC
सर्वेक्षण उपकरणनहींनहींनहीं55 मान्य प्रश्नावली55 मान्य प्रश्नावली
रिमोट डेटा स्रोतनहींनहींनहींS3, GDrive, HuggingFace, आदिS3, GDrive, HuggingFace, आदि

माइग्रेशन गाइड

अपनी कॉन्फ़िगरेशन अपडेट करना (v1 से v2)

  1. डेटा कॉन्फ़िगरेशन

    yaml
    # Old
    id_key: id
    text_key: text
     
    # New
    item_properties:
      id_key: id
      text_key: text
  2. आउटपुट कॉन्फ़िगरेशन

    yaml
    # Old
    output_file: annotations.json
     
    # New
    output_annotation_dir: "output/"
    output_annotation_format: "json"
  3. कॉन्फ़िग फ़ाइल स्थान सुनिश्चित करें कि आपकी कॉन्फ़िग फ़ाइल प्रोजेक्ट डायरेक्टरी के अंदर है।

सर्वर शुरू करना

bash
# v2 command
python -m potato start config.yaml -p 8000
 
# Or shorthand
potato start config.yaml

शुरू करें

Potato आज़माने के लिए तैयार हैं? Quick Start Guide से शुरू करें या विशिष्ट सुविधाएं देखें:

v2.3 सुविधाएं:

  • Agentic Annotation - 12 कन्वर्टर और 3 डिस्प्ले प्रकारों के साथ AI एजेंट का मूल्यांकन करें
  • Solo Mode - मानव-LLM सहयोगी लेबलिंग
  • Best-Worst Scaling - स्कोरिंग के साथ तुलनात्मक एनोटेशन
  • SSO और OAuth - Google, GitHub, और OIDC प्रमाणीकरण
  • Parquet Export - कॉलमर डेटा एक्सपोर्ट

v2.2 सुविधाएं:

  • Event Annotation - N-ary इवेंट संरचनाएं
  • Entity Linking - नॉलेज बेस लिंकिंग
  • Triage - तेज़ डेटा स्क्रीनिंग
  • Coreference Chains - इकाई सहसंदर्भ
  • Conversation Trees - पदानुक्रमित संवाद एनोटेशन
  • MACE - एनोटेटर योग्यता अनुमान
  • Option Highlighting - AI-सहायता प्राप्त विकल्प मार्गदर्शन
  • Diversity Ordering - एम्बेडिंग-आधारित आइटम क्रम
  • Export Formats - 6 प्रारूपों के साथ एक्सपोर्ट CLI
  • Remote Data Sources - क्लाउड डेटा लोडिंग
  • Survey Instruments - 55 मान्य प्रश्नावली

v2.1 सुविधाएं:

  • Instance Display - मल्टी-मोडल सामग्री प्रदर्शन
  • Visual AI Support - छवि और वीडियो एनोटेशन के लिए AI
  • Span Linking - इकाई संबंध एनोटेशन

मुख्य सुविधाएं:

  • AI Support - बुद्धिमान एनोटेशन सहायता
  • Active Learning - स्मार्ट इंस्टेंस प्राथमिकता
  • Audio Annotation - वेवफॉर्म-आधारित एनोटेशन
  • Training Phase - एनोटेटर योग्यता
  • Admin Dashboard - निगरानी और प्रबंधन