Vai al contenuto

Annotazione di immagini da gigapixel con il deep zoom

Servi una piramide di tile come DZI e IIIF Image API 3.0, e dipingi maschere a pennello alla piena risoluzione della sorgente, senza limite di dimensione delle texture.

Annota immagini troppo grandi per essere inviate a un browser come un unico file (rilievi aerei, mosaici di microscopia cuciti insieme, mappe scansionate) con riquadri, poligoni e maschere che funzionano a qualunque ingrandimento. Potato serve una piramide di tile e sovrappone a essa il canvas di annotazione.

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: structures
    description: "Mark every structure."
    source_field: image
    viewer: deepzoom          # the default is `fabric`
    tools: [bbox, polygon, brush, eraser]
    labels:
      - {name: building, color: "#c0392b"}

media_directory è la cartella da cui leggono le route dei tile; i percorsi nel tuo file di dati sono relativi a essa.

Esempio eseguibile: examples/image/deep-zoom/.

Strumenti di annotazione per immagini da gigapixel e vetrini interi a confronto confronta Potato con QuPath, ASAP, Cytomine, la Digital Slide Archive, napari, V7 e Recogito Studio per formati di vetrino, licenze e supporto a più annotatori per vetrino. QuPath e ASAP si adattano a una persona che traccia i contorni dei vetrini sul desktop, mentre Potato si adatta a studi in cui più annotatori tracciano i contorni degli stessi vetrini o mosaici.

Due protocolli, una piramide

La stessa piramide di tile viene servita sia come DZI sia come IIIF Image API 3.0. IIIF conta per il lavoro sul patrimonio culturale e le discipline umanistiche digitali, dove i visualizzatori già in uso presso un'istituzione e le sue pratiche di citazione lo presuppongono. Il rendering è affidato a OpenSeadragon, incluso in locale come ogni altra risorsa.

Maschere a piena risoluzione

Le maschere a pennello funzionano su immagini a tile alla piena risoluzione della sorgente, perché il buffer della maschera indicizza i pixel dell'immagine e non una texture della GPU. Non c'è alcun limite di dimensione delle texture da raggiungere.

Conviene dirlo con cura, perché una versione precedente di questa affermazione era sbagliata ed è stata corretta. Altre piattaforme supportano la mascheratura su immagini a tile; V7 tra queste. Ciò che è specifico qui è il design del buffer, non la capacità.

I buffer sono radi e suddivisi in blocchi, ed è ciò che lo rende sostenibile: dieci classi su un'immagine da 12 megapixel sono passate da circa 458 MB a circa 46 MB, e i dati della maschera hanno smesso del tutto di crescere con l'area dell'immagine, restando a 16 KB a qualunque risoluzione.

Vetrini a immagine intera

Da Potato 2.12, il visualizzatore deep zoom apre anche i vetrini di patologia nei formati che openslide legge (.svs, .ndpi, .mrxs, .scn, .vms, .vmu, .bif e .svslide, oltre a qualunque .tif che openslide riconosca come vetrino). Un vetrino memorizza già la propria piramide, quindi Potato ricava ogni tile dal livello memorizzato più vicino la prima volta che il visualizzatore lo richiede, e mette in cache il risultato. Niente viene decodificato per intero, quindi una scansione da 100.000 × 80.000 pixel si apre con la stessa rapidità di una piccola immagine. Il supporto ai vetrini richiede un'installazione opzionale, che include la libreria openslide:

bash
pip install "potato-annotation[wsi]"

Lo schema è lo stesso di qualunque immagine deep zoom:

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: regions
    description: "Outline each tissue region"
    source_field: image
    viewer: deepzoom
    tools: [polygon, bbox, landmark]
    labels: [tissue, "nuclei cluster", artifact]

Le coordinate sono memorizzate come frazioni del vetrino a piena risoluzione, come per qualunque immagine. Il descrittore dei tile in /media/tiles/<slide>.dzi?format=json fornisce i micron per pixel del vetrino come mpp_x e mpp_y, quindi la larghezza di un riquadro in micron è la sua frazione di larghezza per la larghezza del vetrino per mpp_x. Il rilascio include un esempio eseguibile in examples/image/whole-slide/, con uno script che genera un vetrino sintetico.

Strumenti dedicati alla patologia

Per la patologia digitale, QuPath (desktop, open source, lo standard del settore) e Cytomine (web, open source, multiutente con annotazione cieca) sono costruiti per il lavoro di patologia. Potato è adatto quando più annotatori etichettano gli stessi vetrini e serve il loro accordo, o quando i vetrini sono una parte di uno studio più ampio. I volumi CT e MR in DICOM o NIfTI usano uno schema diverso, volume_annotation, descritto nella pagina sulla sanità.

Correlati

Design di esempio

Ogni design è una configurazione Potato funzionante da scaricare ed eseguire.