Aller au contenu

Annotation d'images en gigapixels avec le zoom profond

Servez une pyramide de tuiles en DZI et en IIIF Image API 3.0, et peignez des masques au pinceau à la pleine résolution de la source, sans plafond de taille de texture.

Annotez des images trop volumineuses pour être envoyées d'un seul fichier à un navigateur (relevés aériens, mosaïques de microscopie assemblées, cartes numérisées) avec des boîtes, des polygones et des masques qui fonctionnent à tout grossissement. Potato sert une pyramide de tuiles et superpose le canevas d'annotation par-dessus.

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: structures
    description: "Mark every structure."
    source_field: image
    viewer: deepzoom          # the default is `fabric`
    tools: [bbox, polygon, brush, eraser]
    labels:
      - {name: building, color: "#c0392b"}

media_directory est l'endroit où les routes de tuiles lisent les fichiers ; les chemins de votre fichier de données y sont relatifs.

Exemple exécutable : examples/image/deep-zoom/.

Comparatif des outils d'annotation d'images en gigapixels et de lames entières compare Potato à QuPath, ASAP, Cytomine, au Digital Slide Archive, à napari, à V7 et à Recogito Studio selon les formats de lames, les licences et la prise en charge de plusieurs annotateurs par lame. QuPath et ASAP conviennent à une personne qui contoure des lames sur un poste de bureau, tandis que Potato convient aux études où plusieurs annotateurs contournent les mêmes lames ou mosaïques.

Deux protocoles, une pyramide

La même pyramide de tuiles est servie à la fois en DZI et en IIIF Image API 3.0. IIIF compte pour le patrimoine culturel et les humanités numériques, où les visionneuses et les pratiques de citation déjà en place dans une institution le supposent. Le rendu est assuré par OpenSeadragon, embarqué en local comme tous les autres éléments.

Des masques en pleine résolution

Les masques au pinceau fonctionnent sur des images tuilées à la pleine résolution de la source, parce que le tampon de masque indexe les pixels de l'image plutôt qu'une texture GPU. Il n'y a aucun plafond de taille de texture à atteindre.

Cela mérite d'être formulé avec soin, car une version antérieure de cette affirmation était fausse et a été corrigée. D'autres plateformes prennent bien en charge le masquage sur des images tuilées, V7 parmi elles. Ce qui est propre à Potato, c'est la conception du tampon, non la capacité.

Les tampons sont épars et découpés en blocs, ce qui rend la chose abordable : dix classes sur une image de 12 mégapixels sont passées d'environ 458 Mo à environ 46 Mo, et les données de masque ont cessé de croître avec la surface de l'image, restant à 16 Ko quelle que soit la résolution.

Lames entières

Depuis Potato 2.12, la visionneuse à zoom profond ouvre aussi les lames de pathologie dans les formats que lit openslide (.svs, .ndpi, .mrxs, .scn, .vms, .vmu, .bif et .svslide, ainsi que tout .tif qu'openslide reconnaît comme une lame). Une lame stocke déjà sa propre pyramide, si bien que Potato découpe chaque tuile à partir du niveau stocké le plus proche la première fois que la visionneuse la demande, et met le résultat en cache. Rien n'est décodé en entier, de sorte qu'un scan de 100 000 × 80 000 pixels s'ouvre aussi vite qu'une petite image. La prise en charge des lames nécessite une installation facultative, qui embarque la bibliothèque openslide :

bash
pip install "potato-annotation[wsi]"

Le schéma est le même que pour n'importe quelle image à zoom profond :

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: regions
    description: "Outline each tissue region"
    source_field: image
    viewer: deepzoom
    tools: [polygon, bbox, landmark]
    labels: [tissue, "nuclei cluster", artifact]

Les coordonnées sont stockées sous forme de fractions de la lame en pleine résolution, comme pour toute image. Le descripteur de tuiles à /media/tiles/<slide>.dzi?format=json donne les microns par pixel de la lame sous les noms mpp_x et mpp_y, si bien que la largeur d'une boîte en microns est sa fraction de largeur multipliée par la largeur de la lame puis par mpp_x. La version inclut un exemple exécutable dans examples/image/whole-slide/, avec un script qui génère une lame synthétique.

Outils dédiés à la pathologie

Pour la pathologie numérique, QuPath (bureau, open source, standard du domaine) et Cytomine (web, open source, multi-utilisateur avec annotation en aveugle) sont conçus pour ce travail. Potato convient quand plusieurs annotateurs étiquettent les mêmes lames et que vous avez besoin de leur accord, ou quand les lames ne sont qu'une partie d'une étude plus large. Les volumes CT et IRM en DICOM ou NIfTI utilisent un autre schéma, volume_annotation, que décrit la page santé.

Voir aussi

Exemples de designs

Chaque design est une configuration Potato fonctionnelle à télécharger et à exécuter.