Skip to content

Coreference Resolution एनोटेशन

Coreference एनोटेशन क्या है, उल्लेखों को entity chain में कैसे समूहबद्ध करें, और Potato में coreference का कार्य कैसे सेट करें।

Coreference resolution का काम है किसी टेक्स्ट में आए उन सारे उल्लेखों को एक साथ समूहबद्ध करना जो एक ही चीज़ की ओर इशारा करते हैं। “Marie Curie … she … the physicist” एक ही chain है, जो एक ही व्यक्ति की ओर जाती है। इससे बिखरे हुए उल्लेख entity में बदल जाते हैं, जो सारांश बनाने, प्रश्न-उत्तर, और ज्ञान निकालने के लिए ज़रूरी है।

पृष्ठभूमि के लिए Coreference देखें।

एनोटेटर क्या करते हैं

  1. हर उल्लेख (नाम, सर्वनाम, या संज्ञा पदबंध) को एक span के रूप में चिह्नित करें।
  2. एक ही entity की ओर इशारा करने वाले उल्लेखों को एक chain में समूहबद्ध करें।
  3. गद्यांश की हर अलग entity के लिए यही दोहराएँ।

नतीजा chain का एक समूह होता है, हर chain उन span की सूची जो एक ही चीज़ को दर्शाते हैं। Chain वाक्यों की सीमा पार कर सकती हैं, और यही बात इस कार्य को सादे span एनोटेशन से मुश्किल बनाती है।

Potato में इसे सेट करना

Potato में coreference एनोटेशन का एक प्रकार है, जिससे एनोटेटर उल्लेख चिह्नित करके उन्हें chain में जोड़ सकते हैं। coreference showcase चलाने के लिए तैयार उदाहरण है। कॉर्पस के पैमाने वाले संस्करणों के लिए OntoNotes coreference, बहुभाषी CorefUD, और MAVEN-ERE देखें, जो एक ही entity नहीं बल्कि एक ही घटना के उल्लेखों को जोड़ता है।

yaml
annotation_schemes:
  - annotation_type: span
    name: mentions
    description: "Mark every mention (names, pronouns, noun phrases), then group mentions that refer to the same entity into a chain."
    labels: [Entity]
    allow_discontinuous: true

ओवरलैप करने वाले span की छूट दें, क्योंकि उल्लेख अक्सर एक-दूसरे के भीतर आते हैं (“[[his] mother]”)।

आम दिक़्क़तें

  • Singleton। तय करें कि जिन entity का ज़िक्र सिर्फ़ एक बार आया है, उन्हें चिह्नित करना है या नहीं। इससे आपकी गिनती और मेट्रिक बदल जाते हैं।
  • सामान्य बनाम विशिष्ट। “Doctors recommend rest” में क्या “doctors” कोई entity है जिसे ट्रैक करना है? इसका नियम लिख लें।
  • बँटे हुए पूर्वसंदर्भ। “Alice and Bob … they” दोनों की ओर इशारा करता है; तय करें कि इसे कैसे दर्ज करेंगे।

Chain की अपनी संरचना होती है, इसलिए सहमति ध्यान से मापें, इंटर-एनोटेटर सहमति देखें, और निपटारा सावधानी से करें।

आगे पढ़ें