跳转到内容

基于深度缩放的十亿像素图像标注

以 DZI 和 IIIF Image API 3.0 两种形式提供瓦片金字塔,并在源图像的完整分辨率下绘制画笔掩码,没有纹理尺寸上限。

对于大到无法作为单个文件发送给浏览器的图像,例如航拍测绘图、拼接的显微镜图像和扫描地图,同样可以用框、多边形和掩码标注,并且在任意放大倍数下都能使用。 Potato 提供一份瓦片金字塔,并把标注画布叠加在金字塔之上。

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: structures
    description: "Mark every structure."
    source_field: image
    viewer: deepzoom          # the default is `fabric`
    tools: [bbox, polygon, brush, eraser]
    labels:
      - {name: building, color: "#c0392b"}

瓦片路由从 media_directory 读取文件,数据文件中的路径相对于这个目录。

可运行示例:examples/image/deep-zoom/。

十亿像素与全切片图像标注工具对比在切片格式、许可证和是否支持多名标注者标注同一张切片方面,把 Potato 与 QuPath、ASAP、Cytomine、Digital Slide Archive、napari、V7 和 Recogito Studio 做了比较。QuPath 和 ASAP 适合一个人在桌面端勾画切片,Potato 适合由多名标注者勾画同一批切片或拼接图像的研究。

两种协议,同一份金字塔

同一份瓦片金字塔同时以 DZI 和 IIIF Image API 3.0 的形式提供。IIIF 对文化遗产和数字人文工作很重要,因为相关机构现有的查看器和引用惯例都以 IIIF 为前提。渲染由 OpenSeadragon 完成,OpenSeadragon 和其他所有资源一样随 Potato 在本地提供。

完整分辨率下的掩码

画笔掩码在瓦片化图像上以源图像的完整分辨率工作,因为掩码缓冲区索引的是图像像素,而不是 GPU 纹理。因此不存在会触及的纹理尺寸上限。

这一点需要谨慎表述,因为这一说法的早期版本有误,后来做了更正。其他平台同样支持在瓦片化图像上绘制掩码,V7 就是其中之一。Potato 的特别之处在于缓冲区的设计,而不在于这项能力本身。

缓冲区是稀疏且分块的,这正是这种做法开销可以承受的原因。在一张 1200 万像素的图像上标注十个类别,占用从约 458 MB 降到约 46 MB,掩码数据也完全不再随图像面积增长,无论分辨率如何都保持在 16 KB。

全切片图像

从 Potato 2.12 起,深度缩放查看器也能打开 openslide 可读格式的病理切片(.svs、.ndpi、.mrxs、.scn、.vms、.vmu、.bif 和 .svslide,以及 openslide 识别为切片的任何 .tif)。切片自带金字塔,所以查看器第一次请求某个瓦片时,Potato 从最接近的已存储层级裁出这个瓦片,并缓存结果。任何文件都不会被整体解码,因此一张 100,000 × 80,000 像素的扫描图打开起来和小图像一样快。切片支持需要安装一个可选依赖,其中捆绑了 openslide 库:

bash
pip install "potato-annotation[wsi]"

方案与任何深度缩放图像的方案相同:

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: regions
    description: "Outline each tissue region"
    source_field: image
    viewer: deepzoom
    tools: [polygon, bbox, landmark]
    labels: [tissue, "nuclei cluster", artifact]

和任何图像一样,坐标以相对于全分辨率切片的比例存储。位于 /media/tiles/<slide>.dzi?format=json 的瓦片描述符以 mpp_x 和 mpp_y 给出切片的每像素微米数,因此一个框以微米计的宽度等于框的宽度比例乘以切片宽度再乘以 mpp_x。该版本在 examples/image/whole-slide/ 中附带一个可运行示例,示例中有一个生成合成切片的脚本。

专门的病理工具

在数字病理领域,QuPath(桌面端,开源,该领域的标准工具)和 Cytomine(网页端,开源,支持多用户和盲标)都是为病理工作打造的。当多名标注者标注同一批切片并且你需要他们的一致性时,或者当切片只是一项更大研究的一部分时,Potato 更合适。DICOM 或 NIfTI 格式的 CT 和 MR 体数据使用另一种方案 volume_annotation,医疗健康页面对此有介绍。

相关内容

示例设计

每个设计都是可以下载并直接运行的 Potato 配置。