Pular para o conteúdo

Segmentação interativa

Clique em um objeto e obtenha uma máscara, no navegador, sem GPU e sem chamada de rede a cada clique. Como o Potato executa o MobileSAM por meio do ONNX Runtime Web e como configurá-lo.

Clique em um objeto e receba uma máscara de volta em cerca de 130 ms, no navegador do anotador, sem GPU e sem ida e volta pela rede. Dois comandos o instalam e, depois que os pesos estão na máquina, ele funciona isolado da rede (air-gapped).

Configuração

bash
potato download-models onnxruntime     # 13.5 MB, once per install
potato download-models mobile_sam      # 45 MB

Depois, adicione sam ao tools de um esquema:

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Outline every object you find."
    source_field: image
    tools: [sam, polygon, brush, eraser]
    labels:
      - name: object
        color: "#6e56cf"

As ferramentas de pincel, borracha e preenchimento sensível à cor continuam disponíveis para o trabalho manual. A segmentação interativa é um jeito de iniciar uma máscara, e não um substituto para corrigi-la.

Execute examples/image/interactive-segmentation/ para vê-la funcionando.

Como funciona

O modelo é o MobileSAM, uma variante destilada do Segment Anything, executada por meio do ONNX Runtime Web.

O codificador e o decodificador são separados de propósito. O codificador é caro e roda uma vez por imagem, enquanto o decodificador é barato e roda uma vez por clique. Mantê-los separados, e guardar o embedding em cache por imagem, é a razão de o clique parecer interativo, e não uma requisição de rede. O cache é limitado e descarta o embedding usado há mais tempo.

Você pode clicar de forma positiva para acrescentar à máscara, clicar de forma negativa para recortá-la, envolver um objeto em uma caixa para restringir a busca ou refinar uma máscara que já tem.

Por que o navegador é o padrão

pip install potato-annotation deve dar a você uma segmentação funcionando, sem GPU, sem nova dependência de Python e sem rede de saída durante a anotação. Esse último ponto não é um luxo. Vários grupos de pesquisa executam o Potato isolado da rede, onde um modelo buscado no momento do clique é um recurso ausente, e não um recurso lento.

Navegador (padrão)Endpoint de servidor
Configuraçãopotato download-modelspip install 'potato-annotation[vision]' mais os pesos
GPUNão necessáriaRecomendada
Isolado da redeSim, depois que os modelos são baixadosSim
Tamanho do modeloDestilado, cerca de 45 MBO que você fornecer

Existe um endpoint de servidor para laboratórios que têm GPU e querem um modelo maior, mas ele é a exceção, e não o padrão.

O contrato de entrada foi verificado, não presumido

O codificador do SAM recebe uma imagem pré-processada, e a especificação admite mais de uma leitura plausível. Três dessas leituras produzem máscaras confiantes, plausíveis e erradas, com 70 a 148 pixels de erro de centroide, o que parece um anotador um pouco descuidado, e não um pipeline quebrado. A leitura correta chega a 0,1 px.

A diferença só fica visível se você conferir com pesos reais e verdade de referência real, e é por isso que o contrato é fixado por um teste, e não por um comentário. Uma leitura errada aqui teria degradado em silêncio cada máscara de cada conjunto de dados construído com ela.

Concordância sobre máscaras

Dois anotadores segmentando o mesmo objeto não produzirão pixels idênticos, então a concordância de máscaras precisa de mais do que um número de sobreposição. O Potato usa o STAPLE (Warfield, Zou e Wells, 2004), que estima um contorno de consenso latente junto com uma sensibilidade e uma especificidade para cada avaliador.

A diferença em relação a um voto majoritário por pixel não é cosmética. Com dois anotadores cuidadosos superados por três ruidosos, por três a dois, o voto majoritário obtém Dice 0,846 em relação à verdade e o STAPLE obtém 1,000, porque o STAPLE percebe que o par cuidadoso concorda entre si, enquanto os três ruidosos não.

Veja o consenso de máscaras para os detalhes e as ressalvas.

Relacionados

Designs de exemplo

Cada design é uma configuração do Potato funcional que você pode baixar e executar.