基于深度缩放的十亿像素图像标注
以 DZI 和 IIIF Image API 3.0 两种形式提供瓦片金字塔,并在源图像的完整分辨率下绘制画笔掩码,没有纹理尺寸上限。
对于大到无法作为单个文件发送给浏览器的图像,例如航拍测绘图、拼接的显微镜图像和扫描地图,同样可以用框、多边形和掩码标注,并且在任意放大倍数下都能使用。 Potato 提供一份瓦片金字塔,并把标注画布叠加在金字塔之上。
annotation_schemes:
- annotation_type: image_annotation
name: structures
description: "Mark every structure."
source_field: image
viewer: deepzoom # the default is `fabric`
tools: [bbox, polygon, brush, eraser]
labels:
- {name: building, color: "#c0392b"}瓦片路由从 media_directory 读取文件,数据文件中的路径相对于这个目录。
可运行示例:examples/image/deep-zoom/。
十亿像素与全切片图像标注工具对比在切片格式、许可证和是否支持多名标注者标注同一张切片方面,把 Potato 与 QuPath、ASAP、Cytomine、Digital Slide Archive、napari、V7 和 Recogito Studio 做了比较。QuPath 和 ASAP 适合一个人在桌面端勾画切片,Potato 适合由多名标注者勾画同一批切片或拼接图像的研究。
两种协议,同一份金字塔
同一份瓦片金字塔同时以 DZI 和 IIIF Image API 3.0 的形式提供。IIIF 对文化遗产和数字人文工作很重要,因为相关机构现有的查看器和引用惯例都以 IIIF 为前提。渲染由 OpenSeadragon 完成,OpenSeadragon 和其他所有资源一样随 Potato 在本地提供。
完整分辨率下的掩码
画笔掩码在瓦片化图像上以源图像的完整分辨率工作,因为掩码缓冲区索引的是图像像素,而不是 GPU 纹理。因此不存在会触及的纹理尺寸上限。
这一点需要谨慎表述,因为这一说法的早期版本有误,后来做了更正。其他平台同样支持在瓦片化图像上绘制掩码,V7 就是其中之一。Potato 的特别之处在于缓冲区的设计,而不在于这项能力本身。
缓冲区是稀疏且分块的,这正是这种做法开销可以承受的原因。在一张 1200 万像素的图像上标注十个类别,占用从约 458 MB 降到约 46 MB,掩码数据也完全不再随图像面积增长,无论分辨率如何都保持在 16 KB。
全切片图像
从 Potato 2.12 起,深度缩放查看器也能打开 openslide 可读格式的病理切片(.svs、.ndpi、.mrxs、.scn、.vms、.vmu、.bif 和 .svslide,以及 openslide 识别为切片的任何 .tif)。切片自带金字塔,所以查看器第一次请求某个瓦片时,Potato 从最接近的已存储层级裁出这个瓦片,并缓存结果。任何文件都不会被整体解码,因此一张 100,000 × 80,000 像素的扫描图打开起来和小图像一样快。切片支持需要安装一个可选依赖,其中捆绑了 openslide 库:
pip install "potato-annotation[wsi]"方案与任何深度缩放图像的方案相同:
annotation_schemes:
- annotation_type: image_annotation
name: regions
description: "Outline each tissue region"
source_field: image
viewer: deepzoom
tools: [polygon, bbox, landmark]
labels: [tissue, "nuclei cluster", artifact]和任何图像一样,坐标以相对于全分辨率切片的比例存储。位于 /media/tiles/<slide>.dzi?format=json 的瓦片描述符以 mpp_x 和 mpp_y 给出切片的每像素微米数,因此一个框以微米计的宽度等于框的宽度比例乘以切片宽度再乘以 mpp_x。该版本在 examples/image/whole-slide/ 中附带一个可运行示例,示例中有一个生成合成切片的脚本。
专门的病理工具
在数字病理领域,QuPath(桌面端,开源,该领域的标准工具)和 Cytomine(网页端,开源,支持多用户和盲标)都是为病理工作打造的。当多名标注者标注同一批切片并且你需要他们的一致性时,或者当切片只是一项更大研究的一部分时,Potato 更合适。DICOM 或 NIfTI 格式的 CT 和 MR 体数据使用另一种方案 volume_annotation,医疗健康页面对此有介绍。
相关内容
- 媒体导入:16 位 TIFF、HEIC、RAW
- 几何图元
- 十亿像素与全切片图像标注工具对比
- 在图像标注上训练检测和分割模型 — 在切成图块的切片上训练检测器和分割器
- 源文档
示例设计
每个设计都是可以下载并直接运行的 Potato 配置。
- BRACS Breast Lesion Regions on a Gigapixel Whole-Slide ImageOutline and label breast lesion regions with seven BRACS categories in the deep-zoom viewer, then train a tiled Mask R-CNN. The sample slide is illustrative.
- PANDA Gleason Pattern Regions and Grade Group on BiopsiesOutline benign tissue and Gleason patterns 3, 4 and 5 on a prostate biopsy in the deep-zoom viewer and choose the ISUP grade. The sample slide is illustrative.