Potato 2.2:事件、實體連結、匯出和 55 個調查量表
Potato 2.2.0 新增 9 種標註方案、可插拔的匯出系統、MACE 能力評估、55 個經過驗證的調查量表以及遠端資料來源支援。
**注意:**本文描述的是 Potato 2.2 釋出時的樣子。部分配置鍵和功能在後續版本中已經變了。最新的配置語法見當前文件。
我們很高興地宣佈 Potato 2.2.0 釋出,這是一個重大功能版本,顯著擴充套件了您可以標註的內容類型以及管理標註品質的方式。此次更新新增 9 種標註方案、可插拔的匯出系統、MACE 能力評估、55 個經過驗證的調查量表以及遠端資料來源支援。
新標註方案
事件標註
v2.2 的核心標註功能是 N 元事件標註。事件由觸發詞跨度(表示事件的詞)和帶有類型化語義角色的論元跨度組成。輻射狀弧線視覺化將觸發詞與其論元連線起來。
annotation_schemes:
- annotation_type: event_annotation
name: events
span_schema: entities
event_types:
- type: "ATTACK"
trigger_labels: ["EVENT_TRIGGER"]
arguments:
- role: "attacker"
entity_types: ["PERSON", "ORGANIZATION"]
required: true
- role: "target"
entity_types: ["PERSON", "ORGANIZATION", "LOCATION"]
required: true這為以前需要自定義工具的資訊抽取、語義角色標註和知識圖譜構建任務提供了支援。
實體連結
跨度標註現在可以連結到外部知識庫。標註者高亮文本、分配標籤,然後使用搜索模態框查詢並連結匹配的 Wikidata、UMLS 或自定義知識庫實體。
annotation_schemes:
- annotation_type: span
name: ner
labels: [PERSON, ORGANIZATION, LOCATION]
entity_linking:
enabled: true
knowledge_bases:
- name: wikidata
type: wikidata
language: en支援用於歧義實體的多選模式和在單個任務中使用多個知識庫。
分類、成對比較、共指等更多功能
六種額外的標註類型完善了 v2.2 的方案新增:
- 分類 — 用於快速資料篩選的接受/拒絕/跳過介面,支援自動前進和鍵盤快捷鍵
- 成對比較 — 二元 A/B 或滑塊比較,用於偏好學習和 RLHF 資料收集
- 對話樹 — 分層樹形標註,支援逐節點評分和路徑選擇
- 共指鏈 — 將共指提及分組為鏈,帶有視覺指示器
- 分割掩碼 — 新的填充、橡皮擦和畫筆工具,用於畫素級影像標註
- 不連續跨度 —
allow_discontinuous: true用於非連續文本選擇
智慧標註
MACE 能力評估
MACE 使用變分貝葉斯 EM 演算法聯合估計真實標籤和標註者能力分數(0.0-1.0)。它可以識別可靠的標註者、檢測垃圾標註者,併產生更高品質的預測標籤。
mace:
enabled: true
trigger_every_n: 10
min_annotations_per_item: 3MACE 在後臺自動執行,並與管理儀表盤和裁決系統整合。
選項高亮
一項新的 AI 功能,分析內容以高亮顯示離散標註任務中最可能正確的選項。前 k 個選項以完全不透明度顯示並帶有星號指示器,而不太可能的選項則變暗。
ai_support:
option_highlighting:
enabled: true
top_k: 3
dim_opacity: 0.4多樣性排序
句子變換器嵌入將相似項目聚類在一起,然後迴圈取樣從不同聚類中呈現項目。這減少了標註者疲勞並提高了主題空間的覆蓋率。
assignment_strategy: diversity_clustering
diversity_ordering:
enabled: true
prefill_count: 100匯出系統
新的匯出 CLI(python -m potato.export)可以通過一條命令將標註轉換為 6 種行業標準格式:
python -m potato.export --config config.yaml --format coco --output ./export/
python -m potato.export --config config.yaml --format yolo --output ./export/
python -m potato.export --config config.yaml --format conll_2003 --output ./export/支援的格式:COCO、YOLO、Pascal VOC、CoNLL-2003、CoNLL-U 和分割掩碼。系統可擴充套件 — 通過繼承 BaseExporter 建立自定義匯出器。
遠端資料來源
從 URL、S3、Google Drive、Dropbox、HuggingFace 資料集、Google Sheets 和 SQL 資料庫載入標註資料:
data_sources:
- type: huggingface
dataset: "squad"
split: "train"
- type: s3
bucket: "my-annotation-data"
key: "datasets/items.jsonl"包括大數據集的部分/增量載入、本地快取以及使用環境變數的安全憑據管理。
調查量表
55 個經過驗證的問卷庫,可在研究前和研究後階段直接使用:
phases:
prestudy:
type: prestudy
instrument: "tipi" # 10-item personality questionnaire
poststudy:
type: poststudy
instrument: "phq-9" # 9-item depression screening量表涵蓋 8 個類別:人格(BFI-2、TIPI)、心理健康(PHQ-9、GAD-7)、情感(PANAS)、自我概念(RSE)、社會態度(SDO-7、MFQ)、回答風格、簡短版本,以及來自主要調查(ANES、GSS、ESS)的人口統計問卷。
使用者體驗改進
- 帶有關鍵幀插值的影片目標跟蹤
- PDF 頁面上的邊界框標註
- 外部 AI 配置檔案支援
- 表單佈局網格改進
升級到 v2.2
pip install --upgrade potato-annotation現有的 v2.0 和 v2.1 配置無需修改即可使用 — 所有新功能都通過額外的配置塊選擇性啟用。