Option Highlighting
Discrete annotation tasks के लिए likely correct options की AI-assisted highlighting।
Option Highlighting
Option Highlighting एक AI-assisted feature है जो annotators को discrete annotation tasks के लिए सबसे अधिक संभावित सही options की पहचान करने में मदद करता है। एक LLM का उपयोग करते हुए, system content और task description का विश्लेषण करके top-k सबसे अधिक संभावित options की भविष्यवाणी करता है, उन्हें पूरी opacity पर display करता है जबकि कम-संभावित options को dim करता है।
अवलोकन
सक्षम होने पर, Option Highlighting:
- LLM का उपयोग करके instance content का विश्लेषण करता है
- Task context के आधार पर सबसे probable options की पहचान करता है
- एक star indicator के साथ likely options highlight करता है
- कम-संभावित options को dim करता है (configurable opacity)
- सभी options को पूरी तरह clickable रखता है - यह guidance है, restriction नहीं
यह विशेष रूप से कई options वाले tasks के लिए, नए annotators को training देने के लिए, cognitive load कम करने के लिए, और annotation confidence बढ़ाने के लिए "second opinion" प्रदान करने के लिए उपयोगी है।
कॉन्फ़िगरेशन
अपने config में ai_support के अंतर्गत option_highlighting section जोड़ें:
ai_support:
enabled: true
endpoint_type: "openai"
ai_config:
model: "gpt-4o-mini"
api_key: "${OPENAI_API_KEY}"
temperature: 0.3
option_highlighting:
enabled: true
top_k: 3 # Number of options to highlight (1-10)
dim_opacity: 0.4 # Opacity for non-highlighted options (0.1-0.9)
auto_apply: true # Apply on page load vs manual trigger
schemas: null # null = all schemas, or ["schema1", "schema2"]
prefetch_count: 20 # Items to prefetch
cache_config:
disk_cache:
enabled: true
path: annotation_output/ai_cache.json
prefetch:
warm_up_page_count: 10
on_next: 3
on_prev: 1कॉन्फ़िगरेशन Reference
| Option | Type | Default | विवरण |
|---|---|---|---|
enabled | boolean | false | Option highlighting सक्षम करें |
top_k | integer | 3 | Highlight करने के लिए options की संख्या (1-10) |
dim_opacity | float | 0.4 | Dimmed options के लिए opacity (0.1-0.9) |
auto_apply | boolean | true | Page load पर स्वचालित रूप से लागू करें |
schemas | list/null | null | Specific schemas तक सीमित करें, या सभी के लिए null |
prefetch_count | integer | 20 | आगे prefetch करने के लिए items की संख्या |
समर्थित Annotation Types
Option highlighting discrete choice types के साथ काम करता है:
- radio - Single choice selection
- multiselect - Multiple checkbox selection
- likert - Likert scale ratings
- select - Dropdown selection
यह लागू नहीं होता: span, textbox, slider, image_annotation, या video_annotation पर।
Visual Appearance
- Highlighted options: Star indicator और subtle background highlight के साथ पूरी opacity
- Dimmed options: कम opacity (configurable), hover पर 0.7 तक brighten, अभी भी पूरी तरह clickable
- Form indicator: Highlighting सक्रिय होने पर annotation forms पर gold left border, छोटा "AI" badge
Prefetching
चूँकि LLM queries धीमी हो सकती हैं, option highlighting aggressive prefetching का उपयोग करता है:
- Warmup: Server start पर पहले N items prefetch किए जाते हैं
- Navigation पर: User आगे/पीछे move करने पर अगले items prefetch किए जाते हैं
- Background processing: Prefetch asynchronously होता है
- Caching: Results reuse के लिए disk पर cache किए जाते हैं
सर्वोत्तम प्रथाएँ
- Fast model का उपयोग करें -
gpt-4o-minispeed और accuracy का अच्छा संतुलन प्रदान करता है - उचित top_k निर्धारित करें - Binary choices के लिए 1 का उपयोग करें, 4-5 options के लिए 2-3
- Prefetching सक्षम करें - Smooth navigation सुनिश्चित करने के लिए उच्च
prefetch_count(20+) - Annotators को train करें - समझाएँ कि highlights suggestions हैं, requirements नहीं
आगे पढ़ें
- AI Support - सामान्य AI assistant कॉन्फ़िगरेशन
- Diversity Ordering - Item ordering के लिए Complementary AI feature
कार्यान्वयन विवरण के लिए, source documentation देखें।