Segmentação interativa
Clique em um objeto e obtenha uma máscara, no navegador, sem GPU e sem chamada de rede a cada clique. Como o Potato executa o MobileSAM por meio do ONNX Runtime Web e como configurá-lo.
Clique em um objeto e receba uma máscara de volta em cerca de 130 ms, no navegador do anotador, sem GPU e sem ida e volta pela rede. Dois comandos o instalam e, depois que os pesos estão na máquina, ele funciona isolado da rede (air-gapped).
Configuração
potato download-models onnxruntime # 13.5 MB, once per install
potato download-models mobile_sam # 45 MBDepois, adicione sam ao tools de um esquema:
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Outline every object you find."
source_field: image
tools: [sam, polygon, brush, eraser]
labels:
- name: object
color: "#6e56cf"As ferramentas de pincel, borracha e preenchimento sensível à cor continuam disponíveis para o trabalho manual. A segmentação interativa é um jeito de iniciar uma máscara, e não um substituto para corrigi-la.
Execute examples/image/interactive-segmentation/ para vê-la funcionando.
Como funciona
O modelo é o MobileSAM, uma variante destilada do Segment Anything, executada por meio do ONNX Runtime Web.
O codificador e o decodificador são separados de propósito. O codificador é caro e roda uma vez por imagem, enquanto o decodificador é barato e roda uma vez por clique. Mantê-los separados, e guardar o embedding em cache por imagem, é a razão de o clique parecer interativo, e não uma requisição de rede. O cache é limitado e descarta o embedding usado há mais tempo.
Você pode clicar de forma positiva para acrescentar à máscara, clicar de forma negativa para recortá-la, envolver um objeto em uma caixa para restringir a busca ou refinar uma máscara que já tem.
Por que o navegador é o padrão
pip install potato-annotation deve dar a você uma segmentação funcionando, sem GPU, sem nova dependência de Python e sem rede de saída durante a anotação. Esse último ponto não é um luxo. Vários grupos de pesquisa executam o Potato isolado da rede, onde um modelo buscado no momento do clique é um recurso ausente, e não um recurso lento.
| Navegador (padrão) | Endpoint de servidor | |
|---|---|---|
| Configuração | potato download-models | pip install 'potato-annotation[vision]' mais os pesos |
| GPU | Não necessária | Recomendada |
| Isolado da rede | Sim, depois que os modelos são baixados | Sim |
| Tamanho do modelo | Destilado, cerca de 45 MB | O que você fornecer |
Existe um endpoint de servidor para laboratórios que têm GPU e querem um modelo maior, mas ele é a exceção, e não o padrão.
O contrato de entrada foi verificado, não presumido
O codificador do SAM recebe uma imagem pré-processada, e a especificação admite mais de uma leitura plausível. Três dessas leituras produzem máscaras confiantes, plausíveis e erradas, com 70 a 148 pixels de erro de centroide, o que parece um anotador um pouco descuidado, e não um pipeline quebrado. A leitura correta chega a 0,1 px.
A diferença só fica visível se você conferir com pesos reais e verdade de referência real, e é por isso que o contrato é fixado por um teste, e não por um comentário. Uma leitura errada aqui teria degradado em silêncio cada máscara de cada conjunto de dados construído com ela.
Concordância sobre máscaras
Dois anotadores segmentando o mesmo objeto não produzirão pixels idênticos, então a concordância de máscaras precisa de mais do que um número de sobreposição. O Potato usa o STAPLE (Warfield, Zou e Wells, 2004), que estima um contorno de consenso latente junto com uma sensibilidade e uma especificidade para cada avaliador.
A diferença em relação a um voto majoritário por pixel não é cosmética. Com dois anotadores cuidadosos superados por três ruidosos, por três a dois, o voto majoritário obtém Dice 0,846 em relação à verdade e o STAPLE obtém 1,000, porque o STAPLE percebe que o par cuidadoso concorda entre si, enquanto os três ruidosos não.
Veja o consenso de máscaras para os detalhes e as ressalvas.
Relacionados
- Prompts de texto — encontre objetos pelo nome, e não por clique
- Rastreamento em vídeo — leve uma máscara ao longo de um clipe
- Primitivas de geometria — as outras formas
- Catálogo de modelos — o que é baixado, e sob qual licença
- Treine modelos de detecção e segmentação com anotações de imagens — ajuste fino do decodificador de máscaras do SAM com os contornos dos seus anotadores, para obter pré-rótulos de contorno
- Documentação de origem
Designs de exemplo
Cada design é uma configuração do Potato funcional que você pode baixar e executar.
- BBBC038 2018 Data Science Bowl Outlines of Every NucleusDraw one polygon per nucleus on ten real images from the CC0 2018 Data Science Bowl set, with Cellpose fine-tuning that writes outlines back as pre-labels.
- NuInsSeg Nucleus and Ambiguous Area Outlines in H&E HistologyOutline nuclei and mark ambiguous areas with polygons on ten real H&E patches, with Cellpose fine-tuning that writes outlines back as pre-labels.
- MSD Spleen Segmentation on Portal-Venous CTPaint the spleen on CT volumes in three linked views with window presets, with a 3D U-Net pre-labeler. The sample volumes are synthetic, illustrative phantoms.
- LIDC-IDRI Lung Nodule Outlines and Ratings on Chest CTOutline lung nodules on chest CT volumes in three linked views and rate nine characteristics, with a 3D U-Net pre-labeler. The volumes are synthetic phantoms.