Anotação de imagens de gigapixels com zoom profundo
Sirva uma pirâmide de tiles como DZI e IIIF Image API 3.0, e pinte máscaras de pincel na resolução total da fonte, sem limite de tamanho de textura.
Anote imagens grandes demais para serem enviadas a um navegador como um único arquivo, como levantamentos aéreos, mosaicos de microscopia costurados e mapas digitalizados, com caixas, polígonos e máscaras que funcionam em qualquer ampliação. O Potato serve uma pirâmide de tiles e sobrepõe a ela a tela de anotação.
annotation_schemes:
- annotation_type: image_annotation
name: structures
description: "Mark every structure."
source_field: image
viewer: deepzoom # the default is `fabric`
tools: [bbox, polygon, brush, eraser]
labels:
- {name: building, color: "#c0392b"}media_directory é de onde as rotas de tiles leem, e os caminhos no seu arquivo de dados são relativos a ele.
Exemplo executável: examples/image/deep-zoom/.
Ferramentas de anotação de imagens de gigapixels e de lâmina inteira comparadas compara o Potato com QuPath, ASAP, Cytomine, o Digital Slide Archive, napari, V7 e Recogito Studio quanto a formatos de lâmina, licenças e suporte a vários anotadores por lâmina. QuPath e ASAP servem a uma pessoa que contorna lâminas no desktop, enquanto o Potato serve a estudos em que vários anotadores contornam as mesmas lâminas ou mosaicos.
Dois protocolos, uma pirâmide
A mesma pirâmide de tiles é servida tanto como DZI quanto como IIIF Image API 3.0. O IIIF importa para o patrimônio cultural e as humanidades digitais, em que os visualizadores e as práticas de citação já existentes em uma instituição o pressupõem. A renderização é feita pelo OpenSeadragon, embutido localmente como todos os outros recursos.
Máscaras em resolução total
As máscaras de pincel funcionam em imagens em tiles na resolução total da fonte, porque o buffer da máscara indexa pixels da imagem, e não uma textura de GPU. Não há limite de tamanho de textura a atingir.
Isso merece ser dito com cuidado, porque uma versão anterior dessa afirmação estava errada e foi corrigida. Outras plataformas aceitam, sim, mascaramento em imagens em tiles, e o V7 é uma delas. O que é específico aqui é o projeto do buffer, e não a capacidade.
Os buffers são esparsos e divididos em blocos, o que torna isso viável: dez classes em uma imagem de 12 megapixels passaram de cerca de 458 MB para cerca de 46 MB, e os dados da máscara deixaram de crescer com a área da imagem, mantendo-se em 16 KB independentemente da resolução.
Imagens de lâmina inteira
A partir do Potato 2.12, o visualizador de zoom profundo também abre lâminas de patologia nos formatos que o openslide lê (.svs, .ndpi, .mrxs, .scn, .vms, .vmu, .bif e .svslide, além de qualquer .tif que o openslide reconheça como lâmina). Uma lâmina já armazena a sua própria pirâmide, então o Potato recorta cada tile do nível armazenado mais próximo na primeira vez que o visualizador o pede, e guarda o resultado em cache. Nada é decodificado por inteiro, de modo que uma varredura de 100.000 × 80.000 pixels abre tão rápido quanto uma imagem pequena. O suporte a lâminas exige uma instalação opcional, que inclui a biblioteca openslide:
pip install "potato-annotation[wsi]"O esquema é o mesmo de qualquer imagem de zoom profundo:
annotation_schemes:
- annotation_type: image_annotation
name: regions
description: "Outline each tissue region"
source_field: image
viewer: deepzoom
tools: [polygon, bbox, landmark]
labels: [tissue, "nuclei cluster", artifact]As coordenadas são armazenadas como frações da lâmina em resolução total, como em qualquer imagem. O descritor de tiles em /media/tiles/<slide>.dzi?format=json informa os mícrons por pixel da lâmina como mpp_x e mpp_y, de modo que a largura de uma caixa em mícrons é a sua fração de largura vezes a largura da lâmina vezes mpp_x. A versão inclui um exemplo executável em examples/image/whole-slide/, com um script que gera uma lâmina sintética.
Ferramentas dedicadas de patologia
Para patologia digital, o QuPath (desktop, código aberto, o padrão da área) e o Cytomine (web, código aberto, multiusuário com anotação cega) foram feitos para o trabalho de patologia. O Potato é adequado quando vários anotadores rotulam as mesmas lâminas e você precisa da concordância entre eles, ou quando as lâminas são uma parte de um estudo maior. Volumes de TC e RM em DICOM ou NIfTI usam um esquema diferente, volume_annotation, que a página de saúde descreve.
Relacionados
- Ingestão de mídia — TIFF de 16 bits, HEIC, RAW
- Primitivas de geometria
- Ferramentas de anotação de imagens de gigapixels e de lâmina inteira comparadas
- Treine modelos de detecção e segmentação com anotações de imagens — detectores e segmentadores treinados em lâminas cortadas em blocos
- Documentação de origem
Designs de exemplo
Cada design é uma configuração do Potato funcional que você pode baixar e executar.
- BRACS Breast Lesion Regions on a Gigapixel Whole-Slide ImageOutline and label breast lesion regions with seven BRACS categories in the deep-zoom viewer, then train a tiled Mask R-CNN. The sample slide is illustrative.
- PANDA Gleason Pattern Regions and Grade Group on BiopsiesOutline benign tissue and Gleason patterns 3, 4 and 5 on a prostate biopsy in the deep-zoom viewer and choose the ISUP grade. The sample slide is illustrative.