Annotation d'images en gigapixels avec le zoom profond
Servez une pyramide de tuiles en DZI et en IIIF Image API 3.0, et peignez des masques au pinceau à la pleine résolution de la source, sans plafond de taille de texture.
Annotez des images trop volumineuses pour être envoyées d'un seul fichier à un navigateur (relevés aériens, mosaïques de microscopie assemblées, cartes numérisées) avec des boîtes, des polygones et des masques qui fonctionnent à tout grossissement. Potato sert une pyramide de tuiles et superpose le canevas d'annotation par-dessus.
annotation_schemes:
- annotation_type: image_annotation
name: structures
description: "Mark every structure."
source_field: image
viewer: deepzoom # the default is `fabric`
tools: [bbox, polygon, brush, eraser]
labels:
- {name: building, color: "#c0392b"}media_directory est l'endroit où les routes de tuiles lisent les fichiers ; les chemins de votre fichier de données y sont relatifs.
Exemple exécutable : examples/image/deep-zoom/.
Comparatif des outils d'annotation d'images en gigapixels et de lames entières compare Potato à QuPath, ASAP, Cytomine, au Digital Slide Archive, à napari, à V7 et à Recogito Studio selon les formats de lames, les licences et la prise en charge de plusieurs annotateurs par lame. QuPath et ASAP conviennent à une personne qui contoure des lames sur un poste de bureau, tandis que Potato convient aux études où plusieurs annotateurs contournent les mêmes lames ou mosaïques.
Deux protocoles, une pyramide
La même pyramide de tuiles est servie à la fois en DZI et en IIIF Image API 3.0. IIIF compte pour le patrimoine culturel et les humanités numériques, où les visionneuses et les pratiques de citation déjà en place dans une institution le supposent. Le rendu est assuré par OpenSeadragon, embarqué en local comme tous les autres éléments.
Des masques en pleine résolution
Les masques au pinceau fonctionnent sur des images tuilées à la pleine résolution de la source, parce que le tampon de masque indexe les pixels de l'image plutôt qu'une texture GPU. Il n'y a aucun plafond de taille de texture à atteindre.
Cela mérite d'être formulé avec soin, car une version antérieure de cette affirmation était fausse et a été corrigée. D'autres plateformes prennent bien en charge le masquage sur des images tuilées, V7 parmi elles. Ce qui est propre à Potato, c'est la conception du tampon, non la capacité.
Les tampons sont épars et découpés en blocs, ce qui rend la chose abordable : dix classes sur une image de 12 mégapixels sont passées d'environ 458 Mo à environ 46 Mo, et les données de masque ont cessé de croître avec la surface de l'image, restant à 16 Ko quelle que soit la résolution.
Lames entières
Depuis Potato 2.12, la visionneuse à zoom profond ouvre aussi les lames de pathologie dans les formats que lit openslide (.svs, .ndpi, .mrxs, .scn, .vms, .vmu, .bif et .svslide, ainsi que tout .tif qu'openslide reconnaît comme une lame). Une lame stocke déjà sa propre pyramide, si bien que Potato découpe chaque tuile à partir du niveau stocké le plus proche la première fois que la visionneuse la demande, et met le résultat en cache. Rien n'est décodé en entier, de sorte qu'un scan de 100 000 × 80 000 pixels s'ouvre aussi vite qu'une petite image. La prise en charge des lames nécessite une installation facultative, qui embarque la bibliothèque openslide :
pip install "potato-annotation[wsi]"Le schéma est le même que pour n'importe quelle image à zoom profond :
annotation_schemes:
- annotation_type: image_annotation
name: regions
description: "Outline each tissue region"
source_field: image
viewer: deepzoom
tools: [polygon, bbox, landmark]
labels: [tissue, "nuclei cluster", artifact]Les coordonnées sont stockées sous forme de fractions de la lame en pleine résolution, comme pour toute image. Le descripteur de tuiles à /media/tiles/<slide>.dzi?format=json donne les microns par pixel de la lame sous les noms mpp_x et mpp_y, si bien que la largeur d'une boîte en microns est sa fraction de largeur multipliée par la largeur de la lame puis par mpp_x. La version inclut un exemple exécutable dans examples/image/whole-slide/, avec un script qui génère une lame synthétique.
Outils dédiés à la pathologie
Pour la pathologie numérique, QuPath (bureau, open source, standard du domaine) et Cytomine (web, open source, multi-utilisateur avec annotation en aveugle) sont conçus pour ce travail. Potato convient quand plusieurs annotateurs étiquettent les mêmes lames et que vous avez besoin de leur accord, ou quand les lames ne sont qu'une partie d'une étude plus large. Les volumes CT et IRM en DICOM ou NIfTI utilisent un autre schéma, volume_annotation, que décrit la page santé.
Voir aussi
- Ingestion de médias — TIFF 16 bits, HEIC, RAW
- Primitives géométriques
- Comparatif des outils d'annotation d'images en gigapixels et de lames entières
- Entraîner des modèles de détection et de segmentation sur des annotations d'images — détecteurs et segmenteurs entraînés sur des lames découpées en tuiles
- Documentation source
Exemples de designs
Chaque design est une configuration Potato fonctionnelle à télécharger et à exécuter.
- BRACS Breast Lesion Regions on a Gigapixel Whole-Slide ImageOutline and label breast lesion regions with seven BRACS categories in the deep-zoom viewer, then train a tiled Mask R-CNN. The sample slide is illustrative.
- PANDA Gleason Pattern Regions and Grade Group on BiopsiesOutline benign tissue and Gleason patterns 3, 4 and 5 on a prostate biopsy in the deep-zoom viewer and choose the ISUP grade. The sample slide is illustrative.