Potato 2.4.0: Web Agent Annotation, लाइव मूल्यांकन, और HuggingFace Integration

ध्यान दें: इस पोस्ट में दी गई सुविधाओं की गिनती v2.4.0 रिलीज़ के समय की स्थिति दर्शाती है। Potato अब 50+ annotation types का समर्थन करता है। पूरी सूची के लिए annotation types documentation देखें।

Potato 2.4.0 आ गया है। 2.3 में agentic annotation आने के बाद यह हमारा सबसे बड़ा अपडेट है, और इसमें वे agent-मूल्यांकन सुविधाएँ जुड़ी हैं जिनकी माँग लोग लगातार कर रहे थे, साथ ही enterprise और integration से जुड़ा एक पूरा बैच।

Web Agent Annotation

Web browsing करने वाले agents का मूल्यांकन कठिन है। आपको देखना होता है कि agent ने क्या देखा, कहाँ click किया, कैसे scroll किया, और हर step का कोई तुक बनता था या नहीं। Potato 2.4 इसके लिए एक Web Agent Trace Viewer जोड़ता है।

Review Mode annotators को पहले से रिकॉर्ड किए गए screenshots के बीच एक filmstrip view देता है। SVG overlays click targets, bounding boxes, mouse paths, और scroll positions को चिह्नित करते हैं, इसलिए मूल्यांकनकर्ता वही देखते हैं जो agent ने देखा था, और annotation नियंत्रण साथ में inline रहते हैं।

Creation Mode interface को उलट देता है। Annotators किसी iframe के भीतर एक live वेबसाइट browse करते हैं, और Potato हर interaction को annotation के लिए तैयार trace के रूप में रिकॉर्ड करता है। आप WebArena, Mind2Web, और Anthropic Computer Use formats से मौजूदा traces import कर सकते हैं, या चलते-चलते नई रिकॉर्ड कर सकते हैं।

display:
  type: web_agent_trace
  mode: review          # or "creation"
  show_overlays: true
  keyboard_shortcuts: true

Live Agent मूल्यांकन

कभी-कभी agents का मूल्यांकन चलते-चलते करना होता है, बाद में नहीं। नया Live Agent Evaluation सिस्टम annotators को AI agents के task पूरा करने को रियल टाइम में देखने और चलते execution के बीच उनके व्यवहार को annotate करने देता है।

Potato agents को Agent Runner Manager के ज़रिए समानांतर चलाता है, traces आते ही उन्हें एक webhook receiver से पकड़ता है, और annotators को एक रियल-टाइम मूल्यांकन interface दिखाता है। यह step-स्तरीय inter-annotator agreement अपने आप ट्रैक करता है।

LLM Chat Sidebar

कठिन annotation निर्णयों में दूसरी राय काम आती है। नया LLM Chat Sidebar annotators को एक AI सहायक पैनल देता है जिससे वे interface छोड़े बिना task के बीच में सलाह ले सकते हैं।

Sidebar बहु-चरणीय बातचीत संभालता है और पूरा task context अपने आप उसमें डाल देता है। यह OpenAI, Anthropic, और Ollama endpoints के साथ काम करता है, और हर बातचीत को behavioral data के रूप में log करता है, जो तब काम आता है जब आप अध्ययन करना चाहें कि annotators AI सहायता पर कितना टिकते हैं।

llm_sidebar:
  enabled: true
  provider: anthropic
  model: claude-3-5-sonnet-20241022
  system_prompt: "You are a helpful annotation assistant for this {task_name} task."
  collapsible: true

HuggingFace Ecosystem Integration

Potato अब कई तरीक़ों से HuggingFace से जुड़ता है। आप annotations को अपने आप बने DatasetCards के साथ सीधे Hub datasets में भेज सकते हैं, उन्हें बिना किसी चक्कर के वापस datasets.Dataset objects के रूप में लोड कर सकते हैं, HuggingFace Spaces पर Potato instance तैनात कर सकते हैं, और LangChain callback के ज़रिए LangChain agents चलाते समय traces अपने आप ले सकते हैं।

pip install potato-annotation[huggingface]

from potato import PotatoDataset
 
ds = PotatoDataset.from_output("annotations/")
ds.push_to_hub("my-org/my-annotation-dataset")

Webhook सिस्टम

Potato 2.4 में event-आधारित integrations के लिए पूरा webhook सिस्टम आया है। पाँच event प्रकार, Standard Webhooks spec के अनुसार HMAC-SHA256 से हस्ताक्षरित:

Webhooks बिना रुकावट के भेजे जाते हैं, retry configure किया जा सकता है, और इन्हें admin API से प्रबंधित किया जाता है।

webhooks:
  - url: https://your-system.example.com/potato-events
    secret: your-signing-secret
    events: [annotation.created, item.fully_annotated]

उन्नत Active Learning: 5 रणनीतियाँ + LLM Cold-Start

Active learning सिस्टम अब पाँच query रणनीतियों के साथ आता है:

1. Uncertainty sampling: वे instances चुनें जिन पर model सबसे कम आश्वस्त है
2. Diversity-based selection: input space की कवरेज अधिकतम करें
3. BADGE: Batch Active Learning by Diverse Gradient Embeddings
4. BALD: Bayesian Active Learning by Disagreement
5. Hybrid ensemble: मज़बूत चयन के लिए रणनीतियों को जोड़ें

LLM cold-start भी है, जो किसी भी label के मौजूद होने से पहले instances चुनता है। आप अपने pool पर एक language model लगाते हैं और उसे चुनौतीपूर्ण या प्रतिनिधि items सामने लाने देते हैं ताकि annotation की शुरुआत हो सके। CoverICL भी नया है, विविध in-context learning उदाहरण चुनने के लिए।

पासवर्ड प्रबंधन और SSO/OAuth

दो authentication सुविधाएँ जिनकी माँग लोग लगातार करते रहे:

पासवर्ड प्रबंधन प्रति-उपयोगकर्ता salts के साथ PBKDF2-SHA256 hashing का उपयोग करता है, admin CLI और API से पासवर्ड रीसेट का समर्थन करता है, और इसमें SQLite या PostgreSQL पर आधारित एक स्व-सेवा token-आधारित रीसेट प्रवाह शामिल है।

SSO/OAuth Authlib के ज़रिए Google, GitHub, या किसी भी सामान्य OIDC provider से single sign-on संभालता है।

pip install potato-annotation[auth]

अद्यतन गिनती

इंस्टॉल

pip install potato-annotation           # core
pip install potato-annotation[ai]       # OpenAI, Ollama
pip install potato-annotation[huggingface]  # HF Hub + Spaces
pip install potato-annotation[langchain]    # LangChain callback
pip install potato-annotation[auth]         # SSO/OAuth
pip install potato-annotation[all]          # everything

आज़माकर देखें

2.4 को काम करते देखने का सबसे तेज़ तरीक़ा HuggingFace Spaces पर मौजूद live demo है, जिसके लिए कुछ भी इंस्टॉल करने की ज़रूरत नहीं। उसमें radio buttons, likert scales, span annotation, और free-text notes के साथ एक agent trace मूल्यांकन task चलता है:

Live demo आज़माएँ →

या कोई उदाहरण स्थानीय रूप से चलाएँ:

git clone https://github.com/davidjurgens/potato.git
cd potato
pip install -e .
python potato/flask_server.py start examples/agent-traces/complex-annotation/config.yaml -p 8000

पूरे changelog के लिए v2.4.0 release notes देखें, और बाक़ी दस्तावेज़ GitHub repository में हैं।