Gigapixel-Bildannotation mit Deep Zoom
Stellen Sie eine Kachelpyramide als DZI und IIIF Image API 3.0 bereit und malen Sie Pinselmasken in der vollen Auflösung der Quelle, ohne Obergrenze für die Texturgröße.
Annotieren Sie Bilder, die zu groß sind, um sie als eine Datei an einen Browser zu senden — Luftbildaufnahmen, zusammengesetzte Mikroskopie-Mosaike, gescannte Karten — mit Boxen, Polygonen und Masken, die bei jeder Vergrößerung funktionieren. Potato stellt eine Kachelpyramide bereit und legt die Annotationsfläche darüber.
annotation_schemes:
- annotation_type: image_annotation
name: structures
description: "Mark every structure."
source_field: image
viewer: deepzoom # the default is `fabric`
tools: [bbox, polygon, brush, eraser]
labels:
- {name: building, color: "#c0392b"}media_directory ist das Verzeichnis, aus dem die Kachelrouten lesen; Pfade in Ihrer Datendatei sind relativ dazu.
Lauffähiges Beispiel: examples/image/deep-zoom/.
Das Dokument Werkzeuge für die Annotation von Gigapixel- und Whole-Slide-Bildern im Vergleich vergleicht Potato mit QuPath, ASAP, Cytomine, dem Digital Slide Archive, napari, V7 und Recogito Studio nach Slide-Formaten, Lizenzen und der Unterstützung mehrerer Annotatoren pro Slide. QuPath und ASAP eignen sich für eine einzelne Person, die Slides am Desktop umrandet, während Potato für Studien geeignet ist, in denen mehrere Annotatoren dieselben Slides oder Mosaike umranden.
Zwei Protokolle, eine Pyramide
Dieselbe Kachelpyramide wird sowohl als DZI als auch als IIIF Image API 3.0 bereitgestellt. IIIF ist wichtig für Kulturerbe und Digital Humanities, wo die vorhandenen Viewer und Zitierpraktiken einer Institution es bereits voraussetzen. Das Rendering übernimmt OpenSeadragon, lokal mitgeliefert wie jedes andere Asset.
Masken in voller Auflösung
Pinselmasken funktionieren auf gekachelten Bildern in der vollen Auflösung der Quelle, weil der Maskenpuffer Bildpixel indiziert statt einer GPU-Textur. Es gibt keine Obergrenze für die Texturgröße, an die man stoßen könnte.
Das ist mit Sorgfalt zu formulieren, denn eine frühere Fassung dieser Aussage war falsch und wurde korrigiert. Andere Plattformen unterstützen das Maskieren gekachelter Bilder durchaus, darunter V7. Spezifisch ist hier das Puffer-Design, nicht die Fähigkeit.
Die Puffer sind dünn besetzt und in Blöcke unterteilt, was das erschwinglich macht: Zehn Klassen auf einem Bild mit 12 Megapixeln sanken von etwa 458 MB auf etwa 46 MB, und die Maskendaten wuchsen überhaupt nicht mehr mit der Bildfläche, sondern blieben unabhängig von der Auflösung bei 16 KB.
Whole-Slide-Bilder
Ab Potato 2.12 öffnet der Deep-Zoom-Viewer auch Pathologie-Schnitte in den Formaten, die openslide liest (.svs, .ndpi, .mrxs, .scn, .vms, .vmu, .bif und .svslide, dazu jede .tif, die openslide als Schnitt erkennt). Ein Schnitt speichert bereits seine eigene Pyramide, daher schneidet Potato jede Kachel aus der nächstgelegenen gespeicherten Ebene, wenn der Viewer sie zum ersten Mal anfordert, und speichert das Ergebnis zwischen. Nichts wird als Ganzes dekodiert, sodass sich ein Scan mit 100.000 × 80.000 Pixeln so schnell öffnet wie ein kleines Bild. Für die Schnitt-Unterstützung ist eine optionale Installation nötig, die die openslide-Bibliothek mitbringt:
pip install "potato-annotation[wsi]"Das Schema ist dasselbe wie für jedes Deep-Zoom-Bild:
annotation_schemes:
- annotation_type: image_annotation
name: regions
description: "Outline each tissue region"
source_field: image
viewer: deepzoom
tools: [polygon, bbox, landmark]
labels: [tissue, "nuclei cluster", artifact]Koordinaten werden wie bei jedem Bild als Bruchteile des Schnitts in voller Auflösung gespeichert. Der Kachel-Deskriptor unter /media/tiles/<slide>.dzi?format=json gibt die Mikrometer pro Pixel des Schnitts als mpp_x und mpp_y an, sodass die Breite einer Box in Mikrometern ihr Breitenbruchteil mal der Schnittbreite mal mpp_x ist. Die Version enthält ein lauffähiges Beispiel unter examples/image/whole-slide/, mit einem Skript, das einen synthetischen Schnitt erzeugt.
Spezialisierte Pathologie-Werkzeuge
Für die digitale Pathologie sind QuPath (Desktop, Open Source, Standard des Fachs) und Cytomine (Web, Open Source, Mehrbenutzerbetrieb mit blinder Annotation) für die Pathologiearbeit gebaut. Potato passt, wenn mehrere Annotierende dieselben Schnitte labeln und Sie ihre Übereinstimmung brauchen oder wenn die Schnitte ein Teil einer größeren Studie sind. CT- und MR-Volumen in DICOM oder NIfTI verwenden ein anderes Schema, volume_annotation, das die Seite zum Gesundheitswesen beschreibt.
Verwandtes
- Medienaufnahme — 16-Bit-TIFF, HEIC, RAW
- Geometrie-Primitive
- Werkzeuge für die Annotation von Gigapixel- und Whole-Slide-Bildern im Vergleich
- Detektions- und Segmentierungsmodelle auf Bildannotationen trainieren — auf Kacheln geschnittene Slides für Detektoren und Segmentierer
- Quelldokumentation
Beispiel-Designs
Jedes Design ist eine lauffähige Potato-Konfiguration zum Herunterladen und Ausführen.
- BRACS Breast Lesion Regions on a Gigapixel Whole-Slide ImageOutline and label breast lesion regions with seven BRACS categories in the deep-zoom viewer, then train a tiled Mask R-CNN. The sample slide is illustrative.
- PANDA Gleason Pattern Regions and Grade Group on BiopsiesOutline benign tissue and Gleason patterns 3, 4 and 5 on a prostate biopsy in the deep-zoom viewer and choose the ISUP grade. The sample slide is illustrative.