Ir al contenido

Anotación de imágenes de gigapíxeles con zoom profundo

Sirve una pirámide de teselas como DZI y como IIIF Image API 3.0, y pinta máscaras de pincel a la resolución completa de la fuente sin límite de tamaño de textura.

Anota imágenes demasiado grandes para enviarlas a un navegador como un solo archivo (estudios aéreos, mosaicos de microscopía ensamblados, mapas escaneados) con cuadros, polígonos y máscaras que funcionan con cualquier aumento. Potato sirve una pirámide de teselas y superpone el lienzo de anotación.

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: structures
    description: "Mark every structure."
    source_field: image
    viewer: deepzoom          # the default is `fabric`
    tools: [bbox, polygon, brush, eraser]
    labels:
      - {name: building, color: "#c0392b"}

media_directory es de donde leen las rutas de teselas; las rutas de tu archivo de datos son relativas a él.

Ejemplo ejecutable: examples/image/deep-zoom/.

Herramientas de anotación de imágenes de gigapíxeles y de portaobjetos completos comparadas compara Potato con QuPath, ASAP, Cytomine, el Digital Slide Archive, napari, V7 y Recogito Studio según los formatos de portaobjetos, las licencias y la compatibilidad con varios anotadores por portaobjetos. QuPath y ASAP sirven para una persona que delinea portaobjetos en un equipo de escritorio, mientras que Potato sirve para estudios en los que varios anotadores delinean los mismos portaobjetos o mosaicos.

Dos protocolos, una pirámide

La misma pirámide de teselas se sirve como DZI y como IIIF Image API 3.0. IIIF importa en el patrimonio cultural y las humanidades digitales, donde los visores y las prácticas de citación ya existentes de una institución lo dan por supuesto. El renderizado corre a cargo de OpenSeadragon, incluido en local como cualquier otro recurso.

Máscaras a resolución completa

Las máscaras de pincel funcionan sobre imágenes en teselas a la resolución completa de la fuente, porque el búfer de máscara indexa píxeles de la imagen y no una textura de GPU. No hay un límite de tamaño de textura que alcanzar.

Conviene decirlo con cuidado, porque una versión anterior de esta afirmación era incorrecta y se corrigió. Otras plataformas sí admiten el enmascarado sobre imágenes en teselas; V7 entre ellas. Lo específico aquí es el diseño del búfer, no la capacidad.

Los búferes son dispersos y están divididos en fragmentos, y eso es lo que lo hace asequible: diez clases sobre una imagen de 12 megapíxeles pasaron de unos 458 MB a unos 46 MB, y los datos de máscara dejaron de escalar con el área de la imagen, manteniéndose en 16 KB sea cual sea la resolución.

Imágenes de portaobjetos completos

Desde Potato 2.12, el visor de zoom profundo también abre portaobjetos de patología en los formatos que lee openslide (.svs, .ndpi, .mrxs, .scn, .vms, .vmu, .bif y .svslide, además de cualquier .tif que openslide reconozca como portaobjetos). Un portaobjetos ya almacena su propia pirámide, así que Potato corta cada tesela del nivel almacenado más cercano la primera vez que el visor la pide, y guarda el resultado en caché. No se decodifica nada entero, de modo que un escaneo de 100 000 × 80 000 píxeles se abre tan rápido como una imagen pequeña. La compatibilidad con portaobjetos necesita una instalación opcional, que incluye la biblioteca openslide:

bash
pip install "potato-annotation[wsi]"

El esquema es el mismo que para cualquier imagen de zoom profundo:

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: regions
    description: "Outline each tissue region"
    source_field: image
    viewer: deepzoom
    tools: [polygon, bbox, landmark]
    labels: [tissue, "nuclei cluster", artifact]

Las coordenadas se almacenan como fracciones del portaobjetos a resolución completa, como en cualquier imagen. El descriptor de teselas en /media/tiles/<slide>.dzi?format=json da las micras por píxel del portaobjetos como mpp_x y mpp_y, de modo que el ancho de una caja en micras es su fracción de ancho por el ancho del portaobjetos por mpp_x. La versión incluye un ejemplo ejecutable en examples/image/whole-slide/, con un script que genera un portaobjetos sintético.

Herramientas dedicadas de patología

Para la patología digital, QuPath (de escritorio, de código abierto, el estándar del campo) y Cytomine (web, de código abierto, multiusuario con anotación ciega) están hechas para el trabajo de patología. Potato encaja cuando varios anotadores etiquetan los mismos portaobjetos y necesitas su acuerdo, o cuando los portaobjetos son una parte de un estudio mayor. Los volúmenes de TC y RM en DICOM o NIfTI usan otro esquema, volume_annotation, que describe la página de salud.

Relacionado

Diseños de ejemplo

Cada diseño es una configuración de Potato que funciona y que puedes descargar y ejecutar.