Skip to content

LLM और vision से पूर्व-एनोटेशन

Potato के AI सपोर्ट से एनोटेशन को तेज़ कैसे करें: LLM से पूर्व-लेबलिंग और इंसानी जाँच, in-context learning, विकल्पों की हाइलाइटिंग, और vision पूर्व-एनोटेशन।

पूर्व-एनोटेशन में मॉडल लेबल का सुझाव देता है और इंसान उसे जाँचकर रखता या सुधारता है। एक अच्छे सुझाव को जाँचना शून्य से लेबल करने के मुक़ाबले कहीं तेज़ पड़ता है, इसलिए पूर्व-एनोटेशन से एनोटेशन का समय काफ़ी घट सकता है, बशर्ते बीच में इंसान बना रहे। यही human-in-the-loop मशीन लर्निंग है।

Potato में OpenAI, Claude, Gemini, Ollama और दूसरों के लिए AI सपोर्ट पहले से मौजूद है।

पूर्व-एनोटेशन काम कैसे करता है

  1. कोई मॉडल (LLM, या छवियों के लिए vision मॉडल) हर आइटम के लिए एक लेबल का अनुमान लगाता है।
  2. यह अनुमान एनोटेटर को पहले से भरे सुझाव या हाइलाइट किए गए विकल्प के रूप में दिखता है।
  3. एनोटेटर उसे मंज़ूर करता है या ठीक करता है।
  4. आपका डेटा जाँचा हुआ लेबल बनता है, मॉडल का कच्चा आउटपुट नहीं।

इसे चालू करना

yaml
ai_support:
  enabled: true
  endpoint_type: openai      # or anthropic, gemini, ollama, ...
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3

Potato में इसके कुछ रूप हैं:

  • In-context learning लेबलिंग: मॉडल prompt में दिए कुछ उदाहरणों से आइटम लेबल करता है; इंसान उसे जाँचता है।
  • विकल्पों की हाइलाइटिंग: मॉडल जिन लेबल को सबसे संभावित मानता है उन्हें पहले से चुन देता है, ताकि एनोटेटर को ढूँढना न पड़े, बस पुष्टि करनी हो।
  • Visual AI सपोर्ट: vision मॉडल (GPT-4V, Claude, Gemini, या YOLO जैसा कोई detector) छवि के लेबल और बॉक्स सुझाते हैं।

ख़तरा: automation bias

पूर्व-एनोटेशन का ख़तरा automation bias है, यानी एनोटेटर मॉडल के सुझावों पर बिना सोचे मुहर लगाते जाते हैं और उसकी ग़लतियाँ आपके “gold” डेटा में पहुँच जाती हैं। इससे बचने के लिए:

  • Gold standard चलते रहने दें, ताकि आँख मूँदकर मंज़ूरी देना पकड़ में आए।
  • जिन आइटम पर आप सहमति मापते हैं, उन पर सुझाव पहले से न भरें; बिना सुझाव वाले आइटम पर मापें।
  • मुश्किल मामलों में कम भरोसे वाले सुझावों को डिफ़ॉल्ट नहीं, इशारा मानकर इस्तेमाल करें।

पूर्व-एनोटेशन बनाम active learning

पूर्व-एनोटेशन हर लेबल को तेज़ बनाता है। Active learning यह तय करके कि अगला लेबल किस आइटम पर लगे, हर लेबल को ज़्यादा काम का बनाता है। दोनों साथ अच्छे चलते हैं।

आगे पढ़ें