Anotación de imágenes de gigapíxeles con zoom profundo
Sirve una pirámide de teselas como DZI y como IIIF Image API 3.0, y pinta máscaras de pincel a la resolución completa de la fuente sin límite de tamaño de textura.
Anota imágenes demasiado grandes para enviarlas a un navegador como un solo archivo (estudios aéreos, mosaicos de microscopía ensamblados, mapas escaneados) con cuadros, polígonos y máscaras que funcionan con cualquier aumento. Potato sirve una pirámide de teselas y superpone el lienzo de anotación.
annotation_schemes:
- annotation_type: image_annotation
name: structures
description: "Mark every structure."
source_field: image
viewer: deepzoom # the default is `fabric`
tools: [bbox, polygon, brush, eraser]
labels:
- {name: building, color: "#c0392b"}media_directory es de donde leen las rutas de teselas; las rutas de tu archivo de datos son relativas a él.
Ejemplo ejecutable: examples/image/deep-zoom/.
Herramientas de anotación de imágenes de gigapíxeles y de portaobjetos completos comparadas compara Potato con QuPath, ASAP, Cytomine, el Digital Slide Archive, napari, V7 y Recogito Studio según los formatos de portaobjetos, las licencias y la compatibilidad con varios anotadores por portaobjetos. QuPath y ASAP sirven para una persona que delinea portaobjetos en un equipo de escritorio, mientras que Potato sirve para estudios en los que varios anotadores delinean los mismos portaobjetos o mosaicos.
Dos protocolos, una pirámide
La misma pirámide de teselas se sirve como DZI y como IIIF Image API 3.0. IIIF importa en el patrimonio cultural y las humanidades digitales, donde los visores y las prácticas de citación ya existentes de una institución lo dan por supuesto. El renderizado corre a cargo de OpenSeadragon, incluido en local como cualquier otro recurso.
Máscaras a resolución completa
Las máscaras de pincel funcionan sobre imágenes en teselas a la resolución completa de la fuente, porque el búfer de máscara indexa píxeles de la imagen y no una textura de GPU. No hay un límite de tamaño de textura que alcanzar.
Conviene decirlo con cuidado, porque una versión anterior de esta afirmación era incorrecta y se corrigió. Otras plataformas sí admiten el enmascarado sobre imágenes en teselas; V7 entre ellas. Lo específico aquí es el diseño del búfer, no la capacidad.
Los búferes son dispersos y están divididos en fragmentos, y eso es lo que lo hace asequible: diez clases sobre una imagen de 12 megapíxeles pasaron de unos 458 MB a unos 46 MB, y los datos de máscara dejaron de escalar con el área de la imagen, manteniéndose en 16 KB sea cual sea la resolución.
Imágenes de portaobjetos completos
Desde Potato 2.12, el visor de zoom profundo también abre portaobjetos de patología en los formatos que lee openslide (.svs, .ndpi, .mrxs, .scn, .vms, .vmu, .bif y .svslide, además de cualquier .tif que openslide reconozca como portaobjetos). Un portaobjetos ya almacena su propia pirámide, así que Potato corta cada tesela del nivel almacenado más cercano la primera vez que el visor la pide, y guarda el resultado en caché. No se decodifica nada entero, de modo que un escaneo de 100 000 × 80 000 píxeles se abre tan rápido como una imagen pequeña. La compatibilidad con portaobjetos necesita una instalación opcional, que incluye la biblioteca openslide:
pip install "potato-annotation[wsi]"El esquema es el mismo que para cualquier imagen de zoom profundo:
annotation_schemes:
- annotation_type: image_annotation
name: regions
description: "Outline each tissue region"
source_field: image
viewer: deepzoom
tools: [polygon, bbox, landmark]
labels: [tissue, "nuclei cluster", artifact]Las coordenadas se almacenan como fracciones del portaobjetos a resolución completa, como en cualquier imagen. El descriptor de teselas en /media/tiles/<slide>.dzi?format=json da las micras por píxel del portaobjetos como mpp_x y mpp_y, de modo que el ancho de una caja en micras es su fracción de ancho por el ancho del portaobjetos por mpp_x. La versión incluye un ejemplo ejecutable en examples/image/whole-slide/, con un script que genera un portaobjetos sintético.
Herramientas dedicadas de patología
Para la patología digital, QuPath (de escritorio, de código abierto, el estándar del campo) y Cytomine (web, de código abierto, multiusuario con anotación ciega) están hechas para el trabajo de patología. Potato encaja cuando varios anotadores etiquetan los mismos portaobjetos y necesitas su acuerdo, o cuando los portaobjetos son una parte de un estudio mayor. Los volúmenes de TC y RM en DICOM o NIfTI usan otro esquema, volume_annotation, que describe la página de salud.
Relacionado
- Ingesta de medios — TIFF de 16 bits, HEIC, RAW
- Primitivas geométricas
- Herramientas de anotación de imágenes de gigapíxeles y de portaobjetos completos comparadas
- Entrena modelos de detección y segmentación con anotaciones de imágenes — detectores y segmentadores entrenados con portaobjetos cortados en teselas
- Documentación fuente
Diseños de ejemplo
Cada diseño es una configuración de Potato que funciona y que puedes descargar y ejecutar.
- BRACS Breast Lesion Regions on a Gigapixel Whole-Slide ImageOutline and label breast lesion regions with seven BRACS categories in the deep-zoom viewer, then train a tiled Mask R-CNN. The sample slide is illustrative.
- PANDA Gleason Pattern Regions and Grade Group on BiopsiesOutline benign tissue and Gleason patterns 3, 4 and 5 on a prostate biopsy in the deep-zoom viewer and choose the ISUP grade. The sample slide is illustrative.