Zum Inhalt springen

Gigapixel-Bildannotation mit Deep Zoom

Stellen Sie eine Kachelpyramide als DZI und IIIF Image API 3.0 bereit und malen Sie Pinselmasken in der vollen Auflösung der Quelle, ohne Obergrenze für die Texturgröße.

Annotieren Sie Bilder, die zu groß sind, um sie als eine Datei an einen Browser zu senden — Luftbildaufnahmen, zusammengesetzte Mikroskopie-Mosaike, gescannte Karten — mit Boxen, Polygonen und Masken, die bei jeder Vergrößerung funktionieren. Potato stellt eine Kachelpyramide bereit und legt die Annotationsfläche darüber.

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: structures
    description: "Mark every structure."
    source_field: image
    viewer: deepzoom          # the default is `fabric`
    tools: [bbox, polygon, brush, eraser]
    labels:
      - {name: building, color: "#c0392b"}

media_directory ist das Verzeichnis, aus dem die Kachelrouten lesen; Pfade in Ihrer Datendatei sind relativ dazu.

Lauffähiges Beispiel: examples/image/deep-zoom/.

Das Dokument Werkzeuge für die Annotation von Gigapixel- und Whole-Slide-Bildern im Vergleich vergleicht Potato mit QuPath, ASAP, Cytomine, dem Digital Slide Archive, napari, V7 und Recogito Studio nach Slide-Formaten, Lizenzen und der Unterstützung mehrerer Annotatoren pro Slide. QuPath und ASAP eignen sich für eine einzelne Person, die Slides am Desktop umrandet, während Potato für Studien geeignet ist, in denen mehrere Annotatoren dieselben Slides oder Mosaike umranden.

Zwei Protokolle, eine Pyramide

Dieselbe Kachelpyramide wird sowohl als DZI als auch als IIIF Image API 3.0 bereitgestellt. IIIF ist wichtig für Kulturerbe und Digital Humanities, wo die vorhandenen Viewer und Zitierpraktiken einer Institution es bereits voraussetzen. Das Rendering übernimmt OpenSeadragon, lokal mitgeliefert wie jedes andere Asset.

Masken in voller Auflösung

Pinselmasken funktionieren auf gekachelten Bildern in der vollen Auflösung der Quelle, weil der Maskenpuffer Bildpixel indiziert statt einer GPU-Textur. Es gibt keine Obergrenze für die Texturgröße, an die man stoßen könnte.

Das ist mit Sorgfalt zu formulieren, denn eine frühere Fassung dieser Aussage war falsch und wurde korrigiert. Andere Plattformen unterstützen das Maskieren gekachelter Bilder durchaus, darunter V7. Spezifisch ist hier das Puffer-Design, nicht die Fähigkeit.

Die Puffer sind dünn besetzt und in Blöcke unterteilt, was das erschwinglich macht: Zehn Klassen auf einem Bild mit 12 Megapixeln sanken von etwa 458 MB auf etwa 46 MB, und die Maskendaten wuchsen überhaupt nicht mehr mit der Bildfläche, sondern blieben unabhängig von der Auflösung bei 16 KB.

Whole-Slide-Bilder

Ab Potato 2.12 öffnet der Deep-Zoom-Viewer auch Pathologie-Schnitte in den Formaten, die openslide liest (.svs, .ndpi, .mrxs, .scn, .vms, .vmu, .bif und .svslide, dazu jede .tif, die openslide als Schnitt erkennt). Ein Schnitt speichert bereits seine eigene Pyramide, daher schneidet Potato jede Kachel aus der nächstgelegenen gespeicherten Ebene, wenn der Viewer sie zum ersten Mal anfordert, und speichert das Ergebnis zwischen. Nichts wird als Ganzes dekodiert, sodass sich ein Scan mit 100.000 × 80.000 Pixeln so schnell öffnet wie ein kleines Bild. Für die Schnitt-Unterstützung ist eine optionale Installation nötig, die die openslide-Bibliothek mitbringt:

bash
pip install "potato-annotation[wsi]"

Das Schema ist dasselbe wie für jedes Deep-Zoom-Bild:

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: regions
    description: "Outline each tissue region"
    source_field: image
    viewer: deepzoom
    tools: [polygon, bbox, landmark]
    labels: [tissue, "nuclei cluster", artifact]

Koordinaten werden wie bei jedem Bild als Bruchteile des Schnitts in voller Auflösung gespeichert. Der Kachel-Deskriptor unter /media/tiles/<slide>.dzi?format=json gibt die Mikrometer pro Pixel des Schnitts als mpp_x und mpp_y an, sodass die Breite einer Box in Mikrometern ihr Breitenbruchteil mal der Schnittbreite mal mpp_x ist. Die Version enthält ein lauffähiges Beispiel unter examples/image/whole-slide/, mit einem Skript, das einen synthetischen Schnitt erzeugt.

Spezialisierte Pathologie-Werkzeuge

Für die digitale Pathologie sind QuPath (Desktop, Open Source, Standard des Fachs) und Cytomine (Web, Open Source, Mehrbenutzerbetrieb mit blinder Annotation) für die Pathologiearbeit gebaut. Potato passt, wenn mehrere Annotierende dieselben Schnitte labeln und Sie ihre Übereinstimmung brauchen oder wenn die Schnitte ein Teil einer größeren Studie sind. CT- und MR-Volumen in DICOM oder NIfTI verwenden ein anderes Schema, volume_annotation, das die Seite zum Gesundheitswesen beschreibt.

Verwandtes

Beispiel-Designs

Jedes Design ist eine lauffähige Potato-Konfiguration zum Herunterladen und Ausführen.