用於合同與檔案審閱的法律標註工具

Q: 如何度量法律檔案上標註者之間的一致性？

用 num_annotators_per_item 把每份檔案或每個條款分配給至少兩位標註者，再開啟 agreement_metrics，就能在管理面板上看到每個問題的 Krippendorff's alpha。對於實體片段，/admin/iaa 報告給出精確匹配和部分匹配兩種片段 F1。這兩個 F1 數字把標籤上的分歧與片段起止位置上的分歧區分開來。reliability 匯出會為每個問題寫出 alpha 及自助法區間。片段的一致性解釋了這些片段度量。

Potato 為合同、法院判決書、法規和證據開示檔案標註條款類型、法律實體、引證連結，以及相關性與特權判斷，每份檔案由兩位或更多審閱者處理，審閱進行時即度量一致性。Potato 免費開源，客戶檔案留在你自己的電腦或伺服器上。

法律標註服務於兩類項目。第一類，法律自然語言處理資料集由專家標籤構建。CUAD 收錄了由 The Atticus Project 的法律專家參與完成的 13,000 多條合同標註，LexGLUE 彙集了來自歐盟和美國法律的分類任務。第二類，電子證據開示審閱要在向對方當事人提交之前，檢查檔案的相關性和特權。兩類項目都需要受過法律訓練的標註者。由於專家的一個標籤比眾包工作者的成本更高，兩位專家之間的分歧值得記錄下來，而不是取平均抹掉。Potato 把每份檔案分配給多位審閱者，分別儲存每位審閱者的回答，並按問題報告一致性。試點隨後會顯示，在全量標註之前，審閱者對哪些類別定義的理解不同。

Potato 中的法律標註任務

每一行是 Potato 2.13.1 自帶的一項功能，連結頁面列出了它的選項。

任務	Potato 的做法	文件
條款分類	每個章節一種條款類型用 `radio`，一個條款產生多項義務時用 `multiselect`，從檔案載入的長條款分類體系用 `hierarchical_multiselect`	單選與多選
法律命名實體	用 `span` 標籤標註當事人、法院、法官、法規、日期和金額	文本片段標註
引證與論證	`span_link` 把一條引證連線到它所支援的命題，或把前提連線到結論	片段連結
檔案審閱	對每份檔案用 `radio` 問題判斷相關性和特權，`active_learning` 按分類器的不確定程度給佇列排序	主動學習
特權與塗黑標籤	`span` 標籤標出要扣留的段落，Potato 儲存這些標記而不改動檔案	文本片段標註
PDF 格式的訴狀與合同	`pdf` 顯示類型把文本片段、方框和連結放在渲染後的頁面上	PDF 標註
法律問答評估	`extractive_qa` 用於答案片段，`rubric_eval` 或 `pairwise` 用於給模型對法律問題的回答打分	基於評分細則的 LLM 評估

一個初篩檔案審閱任務

下面的配置設定了初篩審閱，每份檔案由固定名單中的兩位審閱者處理。每位審閱者判斷檔案是否相關、是否屬於特權，並標出會被扣留的段落。檔案拿到兩份審閱後，Potato 按問題報告一致性。這些一致性數字能及早顯示審閱者對特權類別的理解是否相同。

yaml

annotation_task_name: "Document review: responsiveness and privilege"
task_dir: "."
data_files:
  - data/documents.jsonl
item_properties:
  id_key: id
  text_key: text
output_annotation_dir: annotation_output/
user_config:
  allow_all_users: false
  users: [reviewer_a, reviewer_b, reviewer_c]
num_annotators_per_item: 2
agreement_metrics:
  enabled: true
  min_overlap: 2
annotation_schemes:
  - annotation_type: radio
    name: responsive
    description: "Is this document responsive to the request?"
    labels: [responsive, not responsive, needs attorney review]
    label_requirement:
      required: true
  - annotation_type: radio
    name: privilege
    description: "Is this document privileged?"
    labels: [not privileged, attorney-client, work product, partly privileged]
    label_requirement:
      required: true
  - annotation_type: span
    name: withhold
    description: "Mark each passage that would be redacted before production"
    labels: [PRIVILEGED_PASSAGE, PERSONAL_DATA]

設定 allow_all_users: false 會把研究限定在 users 中的使用者名稱，Potato 預設還會要求輸入密碼。needs attorney review 這個標籤讓審閱者把難辦的檔案上交，而不必猜測。裁決與分歧介紹瞭如何裁定兩位審閱者意見不一的檔案。

機密檔案留在你自己的硬體上

Potato 可以執行在筆記型電腦、律所伺服器或大學叢集上，並把每一條標註寫入這臺機器 output_annotation_dir 下的磁碟。除非配置中指定了外部服務，例如託管的 AI 端點，否則不會向任何第三方傳送資料。對於特權材料上的模型建議，ai_support 可以通過 Ollama 或 vLLM 呼叫你自己網路內部署的模型。氣隙環境標註介紹了模型權重就位後，在沒有任何對外連線的情況下執行。Potato 不會對檔案做塗黑處理，Potato 任務中的塗黑標籤記錄的是審閱者的決定，供你自己的塗黑步驟使用。Potato 沒有任何合規認證。某套部署是否滿足客戶或法院的要求，由你所在的律所或機構決定。

匯入檔案與匯出標籤

資料檔案是 JSON、JSONL、CSV 或 TSV，每行一個條目。載入之前先把長合同切分成章節，並在每個條目中帶上章節編號和標題。法律檔案標註解釋了在哪裡切分，以及事後如何把標籤重新組裝成檔案級的結果。只以 PDF 形式存在的訴狀，在條目中以檔案路徑載入，pdf 顯示類型會在瀏覽器中渲染每一頁。

標籤可以匯出為帶有每位審閱者完整回答的 jsonl，匯出為供分析使用的 csv 或 parquet，匯出為用於訓練實體標註器的 conll_2003 詞元標籤，或匯出為 Hugging Face 資料集。reliability 匯出會為每個問題寫出 Krippendorff's alpha 及自助法區間，可用於資料集論文的方法部分，或審閱規程的品質記錄。

與 Prodigy、Datasaur 和電子證據開示平臺的分工

這些工具各自面向不同的使用場景。Prodigy 是一款付費標註工具，以終身許可方式銷售，執行在你自己的機器上，Prodigy 的法律頁面展示了一個用 Prodigy 訓練的判例法模型示例。Datasaur 提供由 LLM 輔助的合同審閱，Datasaur 的法律頁面說明部署執行在律所自己的基礎設施內。Relativity 這類電子證據開示平臺為訴訟提供審閱和提交工具。Potato 圍繞標註研究而構建，每份檔案有多位審閱者，按問題報告一致性，帶反饋的金標準條目，以及能復現任務的配置檔案。Potato 適合構建帶標籤的法律資料集，或度量審閱者應用規程的一致程度，而電子證據開示平臺適合在進行中的案件上做正式的提交審閱。

藉助程式設計智慧體搭建研究

potato-skill 為 Claude Code、Codex 或 Cursor 提供設計和構建 Potato 研究的說明。用平實的語言描述這項工作，就足以開始。一條請求可以短到這樣：

為 300 份按章節切分的商業租約設定條款分類，使用我們的 12 種條款類型，每個章節兩位律師，並對 shall、must 和 unless 做關鍵詞高亮。

智慧體會列出過程中做出的每一項假設，構建 Potato 任務，並把任務渲染出來以檢查結果。在邀請標註者之前，先自己開啟任務，標幾個條目。

常見問題

如何度量法律檔案上標註者之間的一致性？

用 num_annotators_per_item 把每份檔案或每個條款分配給至少兩位標註者，再開啟 agreement_metrics，就能在管理面板上看到每個問題的 Krippendorff's alpha。對於實體片段，/admin/iaa 報告給出精確匹配和部分匹配兩種片段 F1。這兩個 F1 數字把標籤上的分歧與片段起止位置上的分歧區分開來。reliability 匯出會為每個問題寫出 alpha 及自助法區間。片段的一致性解釋了這些片段度量。

Potato 可以用於檔案審閱嗎？

可以。每份檔案是一個條目，審閱者回答相關性和特權問題，並標出要扣留的段落。每份檔案有兩位或更多審閱者時，Potato 會度量審閱者之間的一致性。啟用 active_learning 後，用已有標籤訓練出的分類器會把預測最不確定的檔案排在佇列前面。Potato 不會為法律事務收集、處理或提交檔案，Potato 更適合審閱研究、規程測試和資料集構建，而不是正式的提交審閱。

參考文獻

Hendrycks, Burns, Chen, and Ball (2021). CUAD: An Expert-Annotated NLP Dataset for Legal Contract Review. NeurIPS 2021. https://arxiv.org/abs/2103.06268
Chalkidis, Jana, Hartung, Bommarito, Androutsopoulos, Katz, and Aletras (2022). LexGLUE: A Benchmark Dataset for Legal Language Understanding in English. ACL 2022. https://doi.org/10.18653/v1/2022.acl-long.297

用 Potato 做法律標註與檔案審閱