Ir al contenido

Segmentación interactiva

Haz clic en un objeto y obtén una máscara, en el navegador, sin GPU y sin llamada de red por cada clic. Cómo ejecuta Potato MobileSAM mediante ONNX Runtime Web y cómo configurarlo.

Haz clic en un objeto y obtén una máscara en unos 130 ms, en el navegador del anotador, sin GPU y sin viaje de ida y vuelta por la red. Se instala con dos comandos y, una vez que los pesos están en la máquina, funciona sin conexión a la red.

Configuración

bash
potato download-models onnxruntime     # 13.5 MB, once per install
potato download-models mobile_sam      # 45 MB

Después añade sam a las tools de un esquema:

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Outline every object you find."
    source_field: image
    tools: [sam, polygon, brush, eraser]
    labels:
      - name: object
        color: "#6e56cf"

El pincel, la goma y el relleno sensible al color siguen disponibles para el trabajo manual. La segmentación interactiva es una forma de iniciar una máscara, no un sustituto de corregirla.

Ejecuta examples/image/interactive-segmentation/ para verla en funcionamiento.

Cómo funciona

El modelo es MobileSAM, una variante destilada de Segment Anything, que se ejecuta mediante ONNX Runtime Web.

El codificador y el decodificador están separados a propósito. El codificador es costoso y se ejecuta una vez por imagen; el decodificador es barato y se ejecuta una vez por clic. Mantenerlos separados y guardar en caché la incrustación por imagen es la razón por la que hacer clic resulta interactivo y no una petición de red. La caché está acotada y expulsa la incrustación usada hace más tiempo.

Puedes hacer clic en positivo para añadir a una máscara, clic en negativo para recortarla, encuadrar un objeto para limitar la búsqueda o refinar una máscara que ya tienes.

Por qué el navegador es la opción predeterminada

pip install potato-annotation debería darte segmentación funcional sin GPU, sin una nueva dependencia de Python y sin red saliente en el momento de anotar. Ese último punto no es un lujo: varios grupos de investigación ejecutan Potato sin conexión a la red, y allí un modelo descargado en el momento del clic es una función ausente y no una lenta.

Navegador (predeterminado)Punto de conexión del servidor
Configuraciónpotato download-modelspip install 'potato-annotation[vision]' más los pesos
GPUNo necesariaRecomendada
Sin conexión a la redSí, una vez descargados los modelosSí
Tamaño del modeloDestilado, unos 45 MBEl que tú aportes

Existe un punto de conexión de servidor para laboratorios que tienen GPU y quieren un modelo más grande, pero es la excepción y no la opción predeterminada.

El contrato de entrada se verificó, no se supuso

El codificador de SAM toma una imagen preprocesada, y la especificación admite más de una lectura plausible. Tres de esas lecturas producen máscaras seguras, plausibles y erróneas: de 70 a 148 píxeles de error de centroide, que parece un anotador algo descuidado y no una canalización rota. La lectura correcta queda en 0.1 px.

La diferencia solo es visible si se comprueba con pesos reales y verdad de referencia real, y por eso el contrato se fija con una prueba y no con un comentario. Una lectura equivocada aquí habría degradado en silencio cada máscara de cada conjunto de datos construido con ella.

Acuerdo sobre máscaras

Dos anotadores que segmentan el mismo objeto no producirán píxeles idénticos, así que el acuerdo de máscaras necesita algo más que una cifra de solapamiento. Potato usa STAPLE (Warfield, Zou y Wells, 2004), que estima un límite de consenso latente junto con una sensibilidad y una especificidad para cada evaluador.

La diferencia con un voto mayoritario por píxel no es cosmética. Con dos anotadores cuidadosos superados por tres ruidosos, el voto mayoritario obtiene un Dice de 0.846 respecto a la verdad y STAPLE obtiene 1.000, porque STAPLE advierte que la pareja cuidadosa coincide entre sí mientras que los tres ruidosos no.

Consulta el consenso de máscaras para ver los detalles y las salvedades.

Relacionado

Diseños de ejemplo

Cada diseño es una configuración de Potato que funciona y que puedes descargar y ejecutar.