Annotazione di immagini da gigapixel con il deep zoom
Servi una piramide di tile come DZI e IIIF Image API 3.0, e dipingi maschere a pennello alla piena risoluzione della sorgente, senza limite di dimensione delle texture.
Annota immagini troppo grandi per essere inviate a un browser come un unico file (rilievi aerei, mosaici di microscopia cuciti insieme, mappe scansionate) con riquadri, poligoni e maschere che funzionano a qualunque ingrandimento. Potato serve una piramide di tile e sovrappone a essa il canvas di annotazione.
annotation_schemes:
- annotation_type: image_annotation
name: structures
description: "Mark every structure."
source_field: image
viewer: deepzoom # the default is `fabric`
tools: [bbox, polygon, brush, eraser]
labels:
- {name: building, color: "#c0392b"}media_directory è la cartella da cui leggono le route dei tile; i percorsi nel tuo file di dati sono relativi a essa.
Esempio eseguibile: examples/image/deep-zoom/.
Strumenti di annotazione per immagini da gigapixel e vetrini interi a confronto confronta Potato con QuPath, ASAP, Cytomine, la Digital Slide Archive, napari, V7 e Recogito Studio per formati di vetrino, licenze e supporto a più annotatori per vetrino. QuPath e ASAP si adattano a una persona che traccia i contorni dei vetrini sul desktop, mentre Potato si adatta a studi in cui più annotatori tracciano i contorni degli stessi vetrini o mosaici.
Due protocolli, una piramide
La stessa piramide di tile viene servita sia come DZI sia come IIIF Image API 3.0. IIIF conta per il lavoro sul patrimonio culturale e le discipline umanistiche digitali, dove i visualizzatori già in uso presso un'istituzione e le sue pratiche di citazione lo presuppongono. Il rendering è affidato a OpenSeadragon, incluso in locale come ogni altra risorsa.
Maschere a piena risoluzione
Le maschere a pennello funzionano su immagini a tile alla piena risoluzione della sorgente, perché il buffer della maschera indicizza i pixel dell'immagine e non una texture della GPU. Non c'è alcun limite di dimensione delle texture da raggiungere.
Conviene dirlo con cura, perché una versione precedente di questa affermazione era sbagliata ed è stata corretta. Altre piattaforme supportano la mascheratura su immagini a tile; V7 tra queste. Ciò che è specifico qui è il design del buffer, non la capacità.
I buffer sono radi e suddivisi in blocchi, ed è ciò che lo rende sostenibile: dieci classi su un'immagine da 12 megapixel sono passate da circa 458 MB a circa 46 MB, e i dati della maschera hanno smesso del tutto di crescere con l'area dell'immagine, restando a 16 KB a qualunque risoluzione.
Vetrini a immagine intera
Da Potato 2.12, il visualizzatore deep zoom apre anche i vetrini di patologia nei formati che openslide legge (.svs, .ndpi, .mrxs, .scn, .vms, .vmu, .bif e .svslide, oltre a qualunque .tif che openslide riconosca come vetrino). Un vetrino memorizza già la propria piramide, quindi Potato ricava ogni tile dal livello memorizzato più vicino la prima volta che il visualizzatore lo richiede, e mette in cache il risultato. Niente viene decodificato per intero, quindi una scansione da 100.000 × 80.000 pixel si apre con la stessa rapidità di una piccola immagine. Il supporto ai vetrini richiede un'installazione opzionale, che include la libreria openslide:
pip install "potato-annotation[wsi]"Lo schema è lo stesso di qualunque immagine deep zoom:
annotation_schemes:
- annotation_type: image_annotation
name: regions
description: "Outline each tissue region"
source_field: image
viewer: deepzoom
tools: [polygon, bbox, landmark]
labels: [tissue, "nuclei cluster", artifact]Le coordinate sono memorizzate come frazioni del vetrino a piena risoluzione, come per qualunque immagine. Il descrittore dei tile in /media/tiles/<slide>.dzi?format=json fornisce i micron per pixel del vetrino come mpp_x e mpp_y, quindi la larghezza di un riquadro in micron è la sua frazione di larghezza per la larghezza del vetrino per mpp_x. Il rilascio include un esempio eseguibile in examples/image/whole-slide/, con uno script che genera un vetrino sintetico.
Strumenti dedicati alla patologia
Per la patologia digitale, QuPath (desktop, open source, lo standard del settore) e Cytomine (web, open source, multiutente con annotazione cieca) sono costruiti per il lavoro di patologia. Potato è adatto quando più annotatori etichettano gli stessi vetrini e serve il loro accordo, o quando i vetrini sono una parte di uno studio più ampio. I volumi CT e MR in DICOM o NIfTI usano uno schema diverso, volume_annotation, descritto nella pagina sulla sanità.
Correlati
- Acquisizione dei media — TIFF a 16 bit, HEIC, RAW
- Primitive geometriche
- Strumenti di annotazione per immagini da gigapixel e vetrini interi a confronto
- Addestrare modelli di rilevamento e segmentazione sulle annotazioni di immagini — rilevatori e segmentatori addestrati su vetrini suddivisi in tile
- Documentazione sorgente
Design di esempio
Ogni design è una configurazione Potato funzionante da scaricare ed eseguire.
- BRACS Breast Lesion Regions on a Gigapixel Whole-Slide ImageOutline and label breast lesion regions with seven BRACS categories in the deep-zoom viewer, then train a tiled Mask R-CNN. The sample slide is illustrative.
- PANDA Gleason Pattern Regions and Grade Group on BiopsiesOutline benign tissue and Gleason patterns 3, 4 and 5 on a prostate biopsy in the deep-zoom viewer and choose the ISUP grade. The sample slide is illustrative.