文档/功能特性功能围绕标注问题本身之外,Potato 提供的能力:AI 预标注、质量控制、多阶段流程、导出格式与过程遥测。本节各页介绍的是标注问题之外、Potato 所做的事情。 AI 支持 与 主动学习 涉及预标注和队列排序。模型训练 会在研究的标注上训练模型,并把模型的预测作为预标签展示给标注者。质量控制 涉及注意力检查、金标准与一致性阈值。导出格式 讲如何把标注结果导出,共 72 种格式。 本节有一组页面记录的是过程信号而非标注内容:标注者在给出答案之前做了什么,用了多长时间。行为追踪 和 击键记录 说明记录了哪些内容,击键记录伦理 说明记录这些内容时你对标注者负有什么责任。本节内容AI 辅助标注接入 OpenAI、Anthropic、Gemini、Ollama、vLLM 或 HuggingFace,让标注者按需获得提示、关键词高亮和标签理由。主动学习按模型不确定性重排 Potato 的标注队列,包含五种查询策略、sklearn 分类器、冷启动处理,以及跨重启的模型持久化。智能体标注在 Potato 中评估 AI 智能体:转换来自 15 种框架的 trace,用智能体 trace 显示类型渲染,并在 trace 级别和步骤级别标注。音频标注在 Potato 中配置基于波形的音频标注。显示交互式播放控件、设置时间标记,并与单选、李克特或文本方案组合使用。单人模式(Solo Mode)在 Potato 中由一个人跑完整条标注流水线:一位专家和一个 LLM 沿着阶段状态机推进,涵盖提示词编写、并行标注、分歧解决和最终验证。图像标注的配置与导出在 Potato 中配置图像标注,支持边界框、多边形、掩码和关键点。用 instance_display 显示图像,并导出为 COCO 或 YOLO 格式。培训阶段用练习题、已知正确答案、即时反馈,以及决定谁能进入真实任务的通过标准,在 Potato 中对标注者进行资格认定。管理仪表板实时监控标注进度、管理标注者和配置设置。多阶段工作流在 Potato 中构建多阶段标注工作流,包含知情同意、预筛查、说明、培训和研究后调查,以及条件调查问题。导出格式将 Potato 标注导出为 JSON、JSONL、CSV、CoNLL、HuggingFace Datasets、COCO、YOLO、Pascal VOC 和 Apache Parquet,供下游机器学习流程使用。质量控制注意力检查、金标准和标注者间一致性指标。行为追踪捕获详细的交互数据用于质量分析和研究。标注历史通过时间戳追踪每个标注操作,用于审计和分析。ICL 标注在 Potato 中使用上下文学习让 LLM 预标注实例,并把其中一部分抽样交回人工验证,按方案分别追踪准确率。生产力功能键盘快捷键、工具提示、关键词高亮和标签建议。免密登录简化的认证方式,用于快速标注研究和测试。任务分配在 Potato 中用随机、固定顺序、最少标注优先、最大分歧优先和主动学习策略控制实例分配,并为每位标注者设置工作量上限。分类分配根据标注者展示的专业能力将标注项目路由给标注者。视觉 AI 支持使用视觉模型为图像和视频标注提供 AI 辅助。布局自定义在 Potato 中用 HTML 模板和 CSS 构建自定义标注布局,涵盖并排对比、多列 scheme 和项目级样式。MACE 能力估计使用 MACE 算法估计标注者能力和真实标签。众包投票、点标记与边界框的共识聚合把多名标注者对每个条目的答案合并为一个共识,给出投票占比、DBSCAN 点聚类和中位数边界框,做法与 Zooniverse 的 reducer 一致。选项高亮AI 辅助高亮离散标注任务中最可能正确的选项。多样性排序基于嵌入的项目多样化,最大化标注多样性。远程数据源从 URL、云存储、数据库等加载标注数据。调查工具55 份经过验证的调查问卷,涵盖人格、心理健康、情感和人口统计。经验取样、追踪波次与德尔菲轮次在参与者入组数小时到数周后开放调查会话,通过电子邮件、Twilio 短信或 Prolific 消息提醒参与者,并导出依从率和响应延迟。Parquet 导出把 Potato 标注导出为 Apache Parquet,一种列式格式,可用 pandas、DuckDB、Spark、Polars 和 Hugging Face Datasets 做大规模分析。Web 智能体标注在 Potato 中审查网页浏览智能体的 trace:胶片条导航、SVG 叠加层(点击、边界框、鼠标轨迹)以及逐步标注控件。实时智能体评估实时观看 AI 智能体工作,并在运行过程中标注其行为,支持暂停、下达指令和接管控制。支持 web 智能体和编码智能体,可选 Anthropic、Ollama 和 Claude SDK。编码智能体标注标注编码智能体 trace,带 diff 渲染、终端输出和文件树导航。可从 Claude Code、Aider、SWE-Agent 等编码助手导入。Webhook从 Potato 发送带 HMAC 签名的 HTTP webhook 通知,覆盖 7 类标注事件,支持指数退避重试、管理端监控以及 Python/Node 验签。过程奖励标注用首错模式和逐步模式为过程奖励模型收集每一步的奖励标签,可选中性标签,并支持由人工核验的 LLM 预标注。代码评审标注用 GitHub PR 风格的内联 diff 评论、文件级正确性评分,以及通过或打回的结论,评审 AI 编码智能体的输出,衡量代码质量。实时编码智能体观察实时观察编码智能体工作,支持暂停、回滚和分支。可选三种后端:本地模型用 Ollama、Anthropic API,以及 Claude Agent SDK。心理测量学引擎把项目反应理论用到标注上。每个标签拿到的不再是一个光秃秃的多数票,而是一个后验概率加一段置信区间,而且模型既不需要黄金标签,也不需要 LLM。多人协作房间在 Potato 里开实时的标准对齐与校准会议。盲投票、主持人揭晓、集体讨论,还有一块实时的 Krippendorff's α 仪表,直接告诉你这场会开得值不值。边界实验室探查决策边界,而不只是那一个点。标注者每次给出标签后,Potato 都会追问:一处最小的反事实改动会不会推翻它——让普通标注顺带产出对比集和质量控制信号。Truth Serum把意外流行打分用到标注上。每个标签后面多问一个小问题,就能让 Potato 在难题上胜过多数投票,全程不需要任何黄金标签。Think-Aloud 模式标注者一边干活一边说话,Potato 把逐字转写稿存下来当作理由。语音转文字完全在本地跑,用的是 faster-whisper,音频不出本机,流程里没有云端 API,也没有 LLM。论文模式一条命令把标注项目变成可直接编译的 LaTeX 数据集报告:标签分布、带正确引用的一致性统计、标注者表格、耗时数据和局限性说明。口袋模式在手机或平板上标注。触屏设备会被自动路由到可滑动的卡片流,控件落在拇指够得着的区域,支持带同步的离线标注,还能作为 PWA 安装到主屏幕。击键记录Potato 可以记录一份自由文本答案背后的停顿、爆发、修改和粘贴,而不记录标注者键入的任何字符。写作过程检测把 Potato 的击键日志变成可审计的标记,指出哪些自由文本答案是粘贴、誊抄或机器生成的,阈值你都能读懂、也能覆盖。击键记录伦理Potato 击键记录的知情同意、IRB 审查、数据留存和参与者权利:这些数据能揭示什么,以及如何公平地使用写作过程标记。来自 OBO 文件和 OLS4 的本体术语标签标注者可以搜索 Cell Ontology、HPO、GO 或任何 OBO 本体,每次选择都会连同术语 id、名称、IRI 和版本一起保存,可离线使用,也可通过 OLS4 使用。上一节:测量与完整性机器可读规格下一页AI 辅助标注