共指消解
什麼是共指標註、如何把指稱歸併為實體鏈,以及如何在 Potato 中搭建共指任務。
共指消解的任務是把文本中指向同一物件的所有指稱歸為一組。"居里夫人……她……這位物理學家"就是指向同一個人的一條鏈。 它把零散的指稱匯聚成實體,是摘要、問答和知識抽取的基礎。
背景知識參見共指。
標註者要做什麼
- 把每一處指稱(人名、代詞或名詞短語)標為一個跨度。
- 把指向同一實體的指稱歸併為一條鏈。
- 對文段中每個不同的實體重複上述步驟。
輸出是一組鏈,每條鏈都是若干個相互共指的跨度的列表。鏈可以跨越句子邊界,這正是它比單純的跨度標註更難的原因。
在 Potato 中搭建
Potato 提供了共指標註類型,讓標註者標出指稱並把它們串聯成鏈。共指示例是一個開箱即用的現成範例。
yaml
annotation_schemes:
- annotation_type: span
name: mentions
description: "Mark every mention (names, pronouns, noun phrases), then group mentions that refer to the same entity into a chain."
labels: [Entity]
allow_discontinuous: true允許跨度重疊,因為指稱經常巢狀("[[他的]母親]")。
常見陷阱
- 單例。 決定是否標註只出現一次的實體。這會影響你的計數和指標。
- 泛指與特指。 "醫生建議多休息"中,"醫生"是要追蹤的實體嗎?寫一條規則。
- 分裂先行詞。 "愛麗絲和鮑勃……他們"同時指代兩者,要決定如何表示它。
由於鏈是結構化的,請謹慎測量一致性,參見標註者間一致性,並認真進行裁定。