ディープズームによるギガピクセル画像のアノテーション
タイルピラミッドを DZI と IIIF Image API 3.0 として配信し、テクスチャサイズの上限なしに、元画像のフル解像度でブラシマスクを塗ります。
一つのファイルとしてブラウザに送るには大きすぎる画像(航空測量、繋ぎ合わせた顕微鏡モザイク、スキャンした地図)に、どの倍率でも機能するボックス、ポリゴン、マスクでアノテーションできます。 Potato はタイルピラミッドを配信し、その上にアノテーションキャンバスを重ねます。
annotation_schemes:
- annotation_type: image_annotation
name: structures
description: "Mark every structure."
source_field: image
viewer: deepzoom # the default is `fabric`
tools: [bbox, polygon, brush, eraser]
labels:
- {name: building, color: "#c0392b"}media_directory はタイルのルートが読み込む場所で、データファイル内のパスはこのディレクトリからの相対パスです。
実行可能な例は examples/image/deep-zoom/ にあります。
ギガピクセル画像・全スライド画像のアノテーションツール比較では、スライド形式、ライセンス、1 枚のスライドを複数のアノテーターで扱えるかどうかについて、Potato を QuPath、ASAP、Cytomine、Digital Slide Archive、napari、V7、Recogito Studio と比べています。QuPath と ASAP は 1 人がデスクトップでスライドの輪郭を描く場合に向き、Potato は複数のアノテーターが同じスライドやモザイクの輪郭を描く研究に向いています。
二つのプロトコル、一つのピラミッド
同じタイルピラミッドが DZI と IIIF Image API 3.0 の両方で配信されます。文化遺産やデジタル人文学の分野では、機関がすでに使っているビューアや引用の慣行が IIIF を前提としているため、IIIF が重要です。描画は OpenSeadragon が担い、ほかのアセットと同様にローカルに同梱されています。
フル解像度のマスク
ブラシマスクは、タイル化された画像でも元画像のフル解像度で動作します。マスクバッファが GPU テクスチャではなく画像のピクセルを指しているためです。したがって、テクスチャサイズの上限に突き当たることはありません。
以前の記述は誤りで、のちに訂正されたため、この点は慎重に述べる必要があります。ほかのプラットフォームにも、タイル化された画像へのマスク付けに対応しているものがあります。V7 もその一つです。ここで特徴的なのは機能そのものではなく、バッファの設計です。
バッファはスパースかつチャンク化されており、これによってコストが抑えられます。12 メガピクセルの画像で 10 クラスを扱った場合、メモリ使用量は約 458 MB から約 46 MB に減りました。マスクデータは画像面積に比例して増えなくなり、解像度にかかわらず 16 KB で一定になりました。
全スライド画像
Potato 2.12 以降、ディープズームビューアは、openslide が読み込める形式(.svs、.ndpi、.mrxs、.scn、.vms、.vmu、.bif、.svslide、および openslide がスライドとして認識する .tif)の病理スライドも開けます。スライドはもともと独自のピラミッドを保持しているため、Potato はビューアが初めてタイルを要求したときに、最も近い保存済みレベルからそのタイルを切り出し、結果をキャッシュします。画像全体をデコードすることはないので、100,000 × 80,000 ピクセルのスキャンも小さな画像と同じ速さで開きます。スライド対応には、openslide ライブラリを同梱するオプションのインストールが必要です。
pip install "potato-annotation[wsi]"スキームは、通常のディープズーム画像の場合と同じです。
annotation_schemes:
- annotation_type: image_annotation
name: regions
description: "Outline each tissue region"
source_field: image
viewer: deepzoom
tools: [polygon, bbox, landmark]
labels: [tissue, "nuclei cluster", artifact]座標は、ほかの画像と同様に、フル解像度のスライドに対する割合として保存されます。/media/tiles/<slide>.dzi?format=json のタイルディスクリプタには、スライドの 1 ピクセルあたりのミクロン数が mpp_x と mpp_y として含まれます。したがって、ボックスの幅(ミクロン)は、幅の割合にスライドの幅を掛け、さらに mpp_x を掛けた値になります。リリースには examples/image/whole-slide/ に実行可能な例があり、合成スライドを生成するスクリプトが付属しています。
専用の病理ツール
デジタル病理には、QuPath(デスクトップ、オープンソース、この分野の標準)と Cytomine(ウェブ、オープンソース、ブラインドアノテーションに対応したマルチユーザー)が、病理の作業向けに作られています。Potato が向いているのは、複数のアノテーターが同じスライドにラベルを付け、その一致度が必要な場合や、スライドがより大きな研究の一部である場合です。DICOM または NIfTI 形式の CT・MR ボリュームには別のスキームである volume_annotation を使います。詳しくはヘルスケアのページで説明しています。
関連ページ
- メディアの取り込み — 16 ビット TIFF、HEIC、RAW
- ジオメトリプリミティブ
- ギガピクセル画像・全スライド画像のアノテーションツール比較
- 画像アノテーションで検出とセグメンテーションのモデルを学習する — タイルに切り分けたスライドで学習した検出器とセグメンター
- ソースドキュメント
デザイン例
各デザインは、ダウンロードしてそのまま実行できる Potato の設定です。
- BRACS Breast Lesion Regions on a Gigapixel Whole-Slide ImageOutline and label breast lesion regions with seven BRACS categories in the deep-zoom viewer, then train a tiled Mask R-CNN. The sample slide is illustrative.
- PANDA Gleason Pattern Regions and Grade Group on BiopsiesOutline benign tissue and Gleason patterns 3, 4 and 5 on a prostate biopsy in the deep-zoom viewer and choose the ISUP grade. The sample slide is illustrative.