딥 줌을 이용한 기가픽셀 이미지 어노테이션
타일 피라미드를 DZI와 IIIF Image API 3.0으로 제공하고, 텍스처 크기 상한 없이 원본의 전체 해상도로 브러시 마스크를 칠합니다.
한 파일로 브라우저에 보내기에는 너무 큰 이미지(항공 측량, 이어 붙인 현미경 모자이크, 스캔한 지도)에 어떤 배율에서도 동작하는 박스, 폴리곤, 마스크로 주석을 달 수 있습니다. Potato는 타일 피라미드를 제공하고 그 위에 주석 캔버스를 얹습니다.
annotation_schemes:
- annotation_type: image_annotation
name: structures
description: "Mark every structure."
source_field: image
viewer: deepzoom # the default is `fabric`
tools: [bbox, polygon, brush, eraser]
labels:
- {name: building, color: "#c0392b"}media_directory는 타일 라우트가 파일을 읽는 위치이며, 데이터 파일의 경로는 이 디렉터리를 기준으로 한 상대 경로입니다.
실행 가능한 예제는 examples/image/deep-zoom/에 있습니다.
기가픽셀 및 전체 슬라이드 이미지 어노테이션 도구 비교는 슬라이드 형식, 라이선스, 슬라이드 한 장에 여러 어노테이터를 지원하는지를 기준으로 Potato를 QuPath, ASAP, Cytomine, Digital Slide Archive, napari, V7, Recogito Studio와 비교합니다. QuPath와 ASAP는 한 사람이 데스크톱에서 슬라이드의 윤곽을 그릴 때 적합하고, Potato는 여러 어노테이터가 같은 슬라이드나 모자이크의 윤곽을 그리는 연구에 적합합니다.
두 가지 프로토콜, 하나의 피라미드
같은 타일 피라미드가 DZI와 IIIF Image API 3.0으로 모두 제공됩니다. IIIF는 문화유산과 디지털 인문학 연구에서 중요한데, 기관이 이미 쓰는 뷰어와 인용 관행이 IIIF를 전제로 하기 때문입니다. 렌더링은 OpenSeadragon이 맡으며, 다른 모든 자산과 마찬가지로 로컬에 포함되어 있습니다.
전체 해상도의 마스크
브러시 마스크는 타일 이미지에서도 원본의 전체 해상도로 동작합니다. 마스크 버퍼가 GPU 텍스처가 아니라 이미지 픽셀을 인덱스로 쓰기 때문입니다. 부딪힐 텍스처 크기 상한이 없습니다.
이 부분은 신중하게 서술할 필요가 있습니다. 이전 버전의 주장이 틀려서 정정했기 때문입니다. 다른 플랫폼도 타일 이미지에 대한 마스킹을 지원하며, V7도 그중 하나입니다. 여기서 고유한 점은 기능 자체가 아니라 버퍼 설계입니다.
버퍼는 희소(sparse)하고 청크 단위로 나뉘어 있어서 비용이 감당할 만합니다. 1,200만 화소 이미지에서 열 개 클래스의 마스크가 약 458MB에서 약 46MB로 줄었고, 마스크 데이터는 이미지 면적에 따라 늘어나지 않게 되어 해상도와 관계없이 16KB를 유지했습니다.
전체 슬라이드 이미지
Potato 2.12부터 딥 줌 뷰어는 openslide가 읽는 형식의 병리 슬라이드도 엽니다(.svs, .ndpi, .mrxs, .scn, .vms, .vmu, .bif, .svslide, 그리고 openslide가 슬라이드로 인식하는 모든 .tif). 슬라이드는 이미 자체 피라미드를 저장하고 있으므로, Potato는 뷰어가 타일을 처음 요청할 때 가장 가까운 저장 레벨에서 각 타일을 잘라 내고 그 결과를 캐시합니다. 전체를 디코딩하는 일이 없으므로 100,000 × 80,000 픽셀 스캔도 작은 이미지만큼 빠르게 열립니다. 슬라이드 지원에는 openslide 라이브러리가 포함된 선택 설치가 필요합니다.
pip install "potato-annotation[wsi]"스킴은 다른 딥 줌 이미지와 같습니다.
annotation_schemes:
- annotation_type: image_annotation
name: regions
description: "Outline each tissue region"
source_field: image
viewer: deepzoom
tools: [polygon, bbox, landmark]
labels: [tissue, "nuclei cluster", artifact]좌표는 다른 이미지와 마찬가지로 전체 해상도 슬라이드에 대한 비율로 저장됩니다. /media/tiles/<slide>.dzi?format=json의 타일 기술자는 슬라이드의 픽셀당 마이크로미터 값을 mpp_x와 mpp_y로 제공하므로, 박스의 너비(마이크로미터)는 너비 비율에 슬라이드 너비를 곱하고 다시 mpp_x를 곱한 값입니다. 릴리스에는 examples/image/whole-slide/에 실행 가능한 예제가 있으며, 합성 슬라이드를 생성하는 스크립트가 들어 있습니다.
전용 병리 도구
디지털 병리에는 QuPath(데스크톱, 오픈 소스, 이 분야의 표준)와 Cytomine(웹, 오픈 소스, 블라인드 주석을 지원하는 다중 사용자)이 병리 작업을 위해 만들어져 있습니다. 여러 주석자가 같은 슬라이드에 라벨을 달고 그들 사이의 일치도가 필요할 때, 또는 슬라이드가 더 큰 연구의 일부일 때 Potato가 적합합니다. DICOM이나 NIfTI 형식의 CT 및 MR 볼륨에는 다른 스킴인 volume_annotation을 사용하며, 이는 의료 페이지에서 설명합니다.
관련 문서
- 미디어 수집 — 16비트 TIFF, HEIC, RAW
- 기하 프리미티브
- 기가픽셀 및 전체 슬라이드 이미지 어노테이션 도구 비교
- 이미지 어노테이션으로 검출 및 분할 모델 학습시키기 — 타일로 자른 슬라이드로 학습시킨 검출기와 분할기
- 소스 문서
예시 디자인
각 디자인은 내려받아 바로 실행할 수 있는 Potato 설정입니다.
- BRACS Breast Lesion Regions on a Gigapixel Whole-Slide ImageOutline and label breast lesion regions with seven BRACS categories in the deep-zoom viewer, then train a tiled Mask R-CNN. The sample slide is illustrative.
- PANDA Gleason Pattern Regions and Grade Group on BiopsiesOutline benign tissue and Gleason patterns 3, 4 and 5 on a prostate biopsy in the deep-zoom viewer and choose the ISUP grade. The sample slide is illustrative.