Skip to content
Announcements2 min read

Potato 2.2:事件、實體連結、匯出和 55 個調查量表

Potato 2.2.0 新增 9 種標註方案、可插拔的匯出系統、MACE 能力評估、55 個經過驗證的調查量表以及遠端資料來源支援。

Potato Team

**注意:**本文描述的是 Potato 2.2 釋出時的樣子。部分配置鍵和功能在後續版本中已經變了。最新的配置語法見當前文件

我們很高興地宣佈 Potato 2.2.0 釋出,這是一個重大功能版本,顯著擴充套件了您可以標註的內容類型以及管理標註品質的方式。此次更新新增 9 種標註方案、可插拔的匯出系統、MACE 能力評估、55 個經過驗證的調查量表以及遠端資料來源支援。

新標註方案

事件標註

v2.2 的核心標註功能是 N 元事件標註。事件由觸發詞跨度(表示事件的詞)和帶有類型化語義角色的論元跨度組成。輻射狀弧線視覺化將觸發詞與其論元連線起來。

yaml
annotation_schemes:
  - annotation_type: event_annotation
    name: events
    span_schema: entities
    event_types:
      - type: "ATTACK"
        trigger_labels: ["EVENT_TRIGGER"]
        arguments:
          - role: "attacker"
            entity_types: ["PERSON", "ORGANIZATION"]
            required: true
          - role: "target"
            entity_types: ["PERSON", "ORGANIZATION", "LOCATION"]
            required: true

這為以前需要自定義工具的資訊抽取、語義角色標註和知識圖譜構建任務提供了支援。

閱讀事件標註文件 →

實體連結

跨度標註現在可以連結到外部知識庫。標註者高亮文本、分配標籤,然後使用搜索模態框查詢並連結匹配的 Wikidata、UMLS 或自定義知識庫實體。

yaml
annotation_schemes:
  - annotation_type: span
    name: ner
    labels: [PERSON, ORGANIZATION, LOCATION]
    entity_linking:
      enabled: true
      knowledge_bases:
        - name: wikidata
          type: wikidata
          language: en

支援用於歧義實體的多選模式和在單個任務中使用多個知識庫。

閱讀實體連結文件 →

分類、成對比較、共指等更多功能

六種額外的標註類型完善了 v2.2 的方案新增:

  • 分類 — 用於快速資料篩選的接受/拒絕/跳過介面,支援自動前進和鍵盤快捷鍵
  • 成對比較 — 二元 A/B 或滑塊比較,用於偏好學習和 RLHF 資料收集
  • 對話樹 — 分層樹形標註,支援逐節點評分和路徑選擇
  • 共指鏈 — 將共指提及分組為鏈,帶有視覺指示器
  • 分割掩碼 — 新的填充、橡皮擦和畫筆工具,用於畫素級影像標註
  • 不連續跨度allow_discontinuous: true 用於非連續文本選擇

智慧標註

MACE 能力評估

MACE 使用變分貝葉斯 EM 演算法聯合估計真實標籤和標註者能力分數(0.0-1.0)。它可以識別可靠的標註者、檢測垃圾標註者,併產生更高品質的預測標籤。

yaml
mace:
  enabled: true
  trigger_every_n: 10
  min_annotations_per_item: 3

MACE 在後臺自動執行,並與管理儀表盤和裁決系統整合。

閱讀 MACE 文件 →

選項高亮

一項新的 AI 功能,分析內容以高亮顯示離散標註任務中最可能正確的選項。前 k 個選項以完全不透明度顯示並帶有星號指示器,而不太可能的選項則變暗。

yaml
ai_support:
  option_highlighting:
    enabled: true
    top_k: 3
    dim_opacity: 0.4

閱讀選項高亮文件 →

多樣性排序

句子變換器嵌入將相似項目聚類在一起,然後迴圈取樣從不同聚類中呈現項目。這減少了標註者疲勞並提高了主題空間的覆蓋率。

yaml
assignment_strategy: diversity_clustering
diversity_ordering:
  enabled: true
  prefill_count: 100

閱讀多樣性排序文件 →

匯出系統

新的匯出 CLI(python -m potato.export)可以通過一條命令將標註轉換為 6 種行業標準格式:

bash
python -m potato.export --config config.yaml --format coco --output ./export/
python -m potato.export --config config.yaml --format yolo --output ./export/
python -m potato.export --config config.yaml --format conll_2003 --output ./export/

支援的格式:COCO、YOLO、Pascal VOC、CoNLL-2003、CoNLL-U 和分割掩碼。系統可擴充套件 — 通過繼承 BaseExporter 建立自定義匯出器。

閱讀匯出格式文件 →

遠端資料來源

從 URL、S3、Google Drive、Dropbox、HuggingFace 資料集、Google Sheets 和 SQL 資料庫載入標註資料:

yaml
data_sources:
  - type: huggingface
    dataset: "squad"
    split: "train"
 
  - type: s3
    bucket: "my-annotation-data"
    key: "datasets/items.jsonl"

包括大數據集的部分/增量載入、本地快取以及使用環境變數的安全憑據管理。

閱讀遠端資料來源文件 →

調查量表

55 個經過驗證的問卷庫,可在研究前和研究後階段直接使用:

yaml
phases:
  prestudy:
    type: prestudy
    instrument: "tipi"      # 10-item personality questionnaire
 
  poststudy:
    type: poststudy
    instrument: "phq-9"     # 9-item depression screening

量表涵蓋 8 個類別:人格(BFI-2、TIPI)、心理健康(PHQ-9、GAD-7)、情感(PANAS)、自我概念(RSE)、社會態度(SDO-7、MFQ)、回答風格、簡短版本,以及來自主要調查(ANES、GSS、ESS)的人口統計問卷。

閱讀調查量表文件 →

使用者體驗改進

  • 帶有關鍵幀插值的影片目標跟蹤
  • PDF 頁面上的邊界框標註
  • 外部 AI 配置檔案支援
  • 表單佈局網格改進

升級到 v2.2

bash
pip install --upgrade potato-annotation

現有的 v2.0 和 v2.1 配置無需修改即可使用 — 所有新功能都通過額外的配置塊選擇性啟用。

開始使用


有問題或反饋?加入我們的 Discord 或在 GitHub 上提交 issue。