Skip to content

एनोटेशन के लिए Active Learning

Active learning क्या है, यह कब काम आता है, और Potato किन क्वेरी रणनीतियों का समर्थन करता है, uncertainty, diversity, BADGE, BALD, ताकि उतनी ही मॉडल गुणवत्ता के लिए कम आइटम लेबल करने पड़ें।

Active learning यह चुनता है कि आगे किन आइटम को एनोटेट किया जाए, ताकि मॉडल कहीं कम लेबल में उतनी ही सटीकता तक पहुँच जाए। बेतरतीब ढंग से लेबल करने के बजाय आप वे आइटम लेबल करते हैं जो मॉडल के लिए सबसे ज़्यादा जानकारीपूर्ण हैं। जब लेबलिंग ही अड़चन हो, तो उपलब्ध तकनीकों में इसका प्रतिफल सबसे ऊँचा होता है।

पृष्ठभूमि के लिए active learning देखें। फ़ीचर संदर्भ के लिए सक्रिय अधिगम (Active Learning) देखें।

लूप

  1. एक छोटा सीड सेट लेबल करें।
  2. आपके पास जितना डेटा है, उस पर एक तेज़ मॉडल प्रशिक्षित करें।
  3. बिना लेबल वाले पूल को स्कोर करें और सबसे जानकारीपूर्ण आइटम चुनें।
  4. उन्हें एनोटेट करें, संग्रह में जोड़ें, फिर से प्रशिक्षित करें। यही दोहराएँ।

फ़ायदा डेटा दक्षता का है: मॉडल आपका एनोटेशन बजट वहाँ खर्च करता है जहाँ वह सबसे ज़्यादा सीखता है।

Potato किन क्वेरी रणनीतियों का समर्थन करता है

  • Uncertainty sampling: वे आइटम चुनें जिन पर मॉडल सबसे कम आश्वस्त है (निर्णय सीमा के पास)। सबसे सरल, और अक्सर कारगर डिफ़ॉल्ट।
  • Diversity sampling: ऐसे आइटम चुनें जो एक-दूसरे से अलग हों, ताकि लगभग एक जैसे आइटम पर बजट बर्बाद न हो।
  • BADGE: ग्रेडिएंट एम्बेडिंग की मदद से uncertainty और diversity, दोनों को जोड़ता है।
  • BALD: बेज़ियन रणनीति, जो उन आइटम को चुनती है जिनसे मॉडल की अनिश्चितता सबसे ज़्यादा घटने की उम्मीद हो।
  • Hybrid: कई रणनीतियों को मिलाकर चलाता है।
yaml
active_learning:
  enabled: true
  schema_names: [sentiment]
  query_strategy: uncertainty   # or diversity, badge, bald, hybrid
  min_instances_for_training: 20

Active learning कब मदद करता है, और कब नहीं

यह तब मदद करता है जब लेबल महँगे हों, पूल बड़ा हो, और छोटे सीड पर भी काम लायक मॉडल प्रशिक्षित हो सके। इससे कम फ़ायदा तब होता है जब:

  • कार्य इतना आसान हो कि बेतरतीब लेबलिंग से ही प्रदर्शन जल्दी संतृप्त हो जाए।
  • आपको एक निष्पक्ष held-out टेस्ट सेट चाहिए, अपने मूल्यांकन डेटा को बेतरतीब सैंपल ही रखें, क्योंकि active learning से चुना गया डेटा जानबूझकर तिरछा होता है।
  • इंजीनियरिंग की मेहनत के मुकाबले लेबल सस्ते हों।

आगे पढ़ें