用于合同与文件审阅的法律标注工具

Q: 如何度量法律文件上标注者之间的一致性？

用 num_annotators_per_item 把每份文件或每个条款分配给至少两位标注者，再打开 agreement_metrics，就能在管理面板上看到每个问题的 Krippendorff's alpha。对于实体片段，/admin/iaa 报告给出精确匹配和部分匹配两种片段 F1。这两个 F1 数字把标签上的分歧与片段起止位置上的分歧区分开来。reliability 导出会为每个问题写出 alpha 及自助法区间。片段的一致性解释了这些片段度量。

Potato 为合同、法院判决书、法规和证据开示文件标注条款类型、法律实体、引证链接，以及相关性与特权判断，每份文件由两位或更多审阅者处理，审阅进行时即度量一致性。Potato 免费开源，客户文件留在你自己的电脑或服务器上。

法律标注服务于两类项目。第一类，法律自然语言处理数据集由专家标签构建。CUAD 收录了由 The Atticus Project 的法律专家参与完成的 13,000 多条合同标注，LexGLUE 汇集了来自欧盟和美国法律的分类任务。第二类，电子证据开示审阅要在向对方当事人提交之前，检查文件的相关性和特权。两类项目都需要受过法律训练的标注者。由于专家的一个标签比众包工作者的成本更高，两位专家之间的分歧值得记录下来，而不是取平均抹掉。Potato 把每份文件分配给多位审阅者，分别保存每位审阅者的回答，并按问题报告一致性。试点随后会显示，在全量标注之前，审阅者对哪些类别定义的理解不同。

Potato 中的法律标注任务

每一行是 Potato 2.13.1 自带的一项功能，链接页面列出了它的选项。

任务	Potato 的做法	文档
条款分类	每个章节一种条款类型用 `radio`，一个条款产生多项义务时用 `multiselect`，从文件加载的长条款分类体系用 `hierarchical_multiselect`	单选与多选
法律命名实体	用 `span` 标签标注当事人、法院、法官、法规、日期和金额	文本片段标注
引证与论证	`span_link` 把一条引证连接到它所支持的命题，或把前提连接到结论	片段链接
文件审阅	对每份文件用 `radio` 问题判断相关性和特权，`active_learning` 按分类器的不确定程度给队列排序	主动学习
特权与涂黑标签	`span` 标签标出要扣留的段落，Potato 保存这些标记而不改动文件	文本片段标注
PDF 格式的诉状与合同	`pdf` 显示类型把文本片段、方框和链接放在渲染后的页面上	PDF 标注
法律问答评估	`extractive_qa` 用于答案片段，`rubric_eval` 或 `pairwise` 用于给模型对法律问题的回答打分	基于评分细则的 LLM 评估

一个初筛文件审阅任务

下面的配置设置了初筛审阅，每份文件由固定名单中的两位审阅者处理。每位审阅者判断文件是否相关、是否属于特权，并标出会被扣留的段落。文件拿到两份审阅后，Potato 按问题报告一致性。这些一致性数字能及早显示审阅者对特权类别的理解是否相同。

yaml

annotation_task_name: "Document review: responsiveness and privilege"
task_dir: "."
data_files:
  - data/documents.jsonl
item_properties:
  id_key: id
  text_key: text
output_annotation_dir: annotation_output/
user_config:
  allow_all_users: false
  users: [reviewer_a, reviewer_b, reviewer_c]
num_annotators_per_item: 2
agreement_metrics:
  enabled: true
  min_overlap: 2
annotation_schemes:
  - annotation_type: radio
    name: responsive
    description: "Is this document responsive to the request?"
    labels: [responsive, not responsive, needs attorney review]
    label_requirement:
      required: true
  - annotation_type: radio
    name: privilege
    description: "Is this document privileged?"
    labels: [not privileged, attorney-client, work product, partly privileged]
    label_requirement:
      required: true
  - annotation_type: span
    name: withhold
    description: "Mark each passage that would be redacted before production"
    labels: [PRIVILEGED_PASSAGE, PERSONAL_DATA]

设置 allow_all_users: false 会把研究限定在 users 中的用户名，Potato 默认还会要求输入密码。needs attorney review 这个标签让审阅者把难办的文件上交，而不必猜测。裁决与分歧介绍了如何裁定两位审阅者意见不一的文件。

机密文件留在你自己的硬件上

Potato 可以运行在笔记本电脑、律所服务器或大学集群上，并把每一条标注写入这台机器 output_annotation_dir 下的磁盘。除非配置中指定了外部服务，例如托管的 AI 端点，否则不会向任何第三方发送数据。对于特权材料上的模型建议，ai_support 可以通过 Ollama 或 vLLM 调用你自己网络内部署的模型。气隙环境标注介绍了模型权重就位后，在没有任何对外连接的情况下运行。Potato 不会对文件做涂黑处理，Potato 任务中的涂黑标签记录的是审阅者的决定，供你自己的涂黑步骤使用。Potato 没有任何合规认证。某套部署是否满足客户或法院的要求，由你所在的律所或机构决定。

导入文件与导出标签

数据文件是 JSON、JSONL、CSV 或 TSV，每行一个条目。加载之前先把长合同切分成章节，并在每个条目中带上章节编号和标题。法律文件标注解释了在哪里切分，以及事后如何把标签重新组装成文件级的结果。只以 PDF 形式存在的诉状，在条目中以文件路径加载，pdf 显示类型会在浏览器中渲染每一页。

标签可以导出为带有每位审阅者完整回答的 jsonl，导出为供分析使用的 csv 或 parquet，导出为用于训练实体标注器的 conll_2003 词元标签，或导出为 Hugging Face 数据集。reliability 导出会为每个问题写出 Krippendorff's alpha 及自助法区间，可用于数据集论文的方法部分，或审阅规程的质量记录。

与 Prodigy、Datasaur 和电子证据开示平台的分工

这些工具各自面向不同的使用场景。Prodigy 是一款付费标注工具，以终身许可方式销售，运行在你自己的机器上，Prodigy 的法律页面展示了一个用 Prodigy 训练的判例法模型示例。Datasaur 提供由 LLM 辅助的合同审阅，Datasaur 的法律页面说明部署运行在律所自己的基础设施内。Relativity 这类电子证据开示平台为诉讼提供审阅和提交工具。Potato 围绕标注研究而构建，每份文件有多位审阅者，按问题报告一致性，带反馈的金标准条目，以及能复现任务的配置文件。Potato 适合构建带标签的法律数据集，或度量审阅者应用规程的一致程度，而电子证据开示平台适合在进行中的案件上做正式的提交审阅。

借助编程智能体搭建研究

potato-skill 为 Claude Code、Codex 或 Cursor 提供设计和构建 Potato 研究的说明。用平实的语言描述这项工作，就足以开始。一条请求可以短到这样：

为 300 份按章节切分的商业租约设置条款分类，使用我们的 12 种条款类型，每个章节两位律师，并对 shall、must 和 unless 做关键词高亮。

智能体会列出过程中做出的每一项假设，构建 Potato 任务，并把任务渲染出来以检查结果。在邀请标注者之前，先自己打开任务，标几个条目。

常见问题

如何度量法律文件上标注者之间的一致性？

用 num_annotators_per_item 把每份文件或每个条款分配给至少两位标注者，再打开 agreement_metrics，就能在管理面板上看到每个问题的 Krippendorff's alpha。对于实体片段，/admin/iaa 报告给出精确匹配和部分匹配两种片段 F1。这两个 F1 数字把标签上的分歧与片段起止位置上的分歧区分开来。reliability 导出会为每个问题写出 alpha 及自助法区间。片段的一致性解释了这些片段度量。

Potato 可以用于文件审阅吗？

可以。每份文件是一个条目，审阅者回答相关性和特权问题，并标出要扣留的段落。每份文件有两位或更多审阅者时，Potato 会度量审阅者之间的一致性。启用 active_learning 后，用已有标签训练出的分类器会把预测最不确定的文件排在队列前面。Potato 不会为法律事务收集、处理或提交文件，Potato 更适合审阅研究、规程测试和数据集构建，而不是正式的提交审阅。

参考文献

Hendrycks, Burns, Chen, and Ball (2021). CUAD: An Expert-Annotated NLP Dataset for Legal Contract Review. NeurIPS 2021. https://arxiv.org/abs/2103.06268
Chalkidis, Jana, Hartung, Bommarito, Androutsopoulos, Katz, and Aletras (2022). LexGLUE: A Benchmark Dataset for Legal Language Understanding in English. ACL 2022. https://doi.org/10.18653/v1/2022.acl-long.297

用 Potato 做法律标注与文件审阅