Segmentación interactiva
Haz clic en un objeto y obtén una máscara, en el navegador, sin GPU y sin llamada de red por cada clic. Cómo ejecuta Potato MobileSAM mediante ONNX Runtime Web y cómo configurarlo.
Haz clic en un objeto y obtén una máscara en unos 130 ms, en el navegador del anotador, sin GPU y sin viaje de ida y vuelta por la red. Se instala con dos comandos y, una vez que los pesos están en la máquina, funciona sin conexión a la red.
Configuración
potato download-models onnxruntime # 13.5 MB, once per install
potato download-models mobile_sam # 45 MBDespués añade sam a las tools de un esquema:
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Outline every object you find."
source_field: image
tools: [sam, polygon, brush, eraser]
labels:
- name: object
color: "#6e56cf"El pincel, la goma y el relleno sensible al color siguen disponibles para el trabajo manual. La segmentación interactiva es una forma de iniciar una máscara, no un sustituto de corregirla.
Ejecuta examples/image/interactive-segmentation/ para verla en funcionamiento.
Cómo funciona
El modelo es MobileSAM, una variante destilada de Segment Anything, que se ejecuta mediante ONNX Runtime Web.
El codificador y el decodificador están separados a propósito. El codificador es costoso y se ejecuta una vez por imagen; el decodificador es barato y se ejecuta una vez por clic. Mantenerlos separados y guardar en caché la incrustación por imagen es la razón por la que hacer clic resulta interactivo y no una petición de red. La caché está acotada y expulsa la incrustación usada hace más tiempo.
Puedes hacer clic en positivo para añadir a una máscara, clic en negativo para recortarla, encuadrar un objeto para limitar la búsqueda o refinar una máscara que ya tienes.
Por qué el navegador es la opción predeterminada
pip install potato-annotation debería darte segmentación funcional sin GPU, sin una nueva dependencia de Python y sin red saliente en el momento de anotar. Ese último punto no es un lujo: varios grupos de investigación ejecutan Potato sin conexión a la red, y allí un modelo descargado en el momento del clic es una función ausente y no una lenta.
| Navegador (predeterminado) | Punto de conexión del servidor | |
|---|---|---|
| Configuración | potato download-models | pip install 'potato-annotation[vision]' más los pesos |
| GPU | No necesaria | Recomendada |
| Sin conexión a la red | Sí, una vez descargados los modelos | Sí |
| Tamaño del modelo | Destilado, unos 45 MB | El que tú aportes |
Existe un punto de conexión de servidor para laboratorios que tienen GPU y quieren un modelo más grande, pero es la excepción y no la opción predeterminada.
El contrato de entrada se verificó, no se supuso
El codificador de SAM toma una imagen preprocesada, y la especificación admite más de una lectura plausible. Tres de esas lecturas producen máscaras seguras, plausibles y erróneas: de 70 a 148 píxeles de error de centroide, que parece un anotador algo descuidado y no una canalización rota. La lectura correcta queda en 0.1 px.
La diferencia solo es visible si se comprueba con pesos reales y verdad de referencia real, y por eso el contrato se fija con una prueba y no con un comentario. Una lectura equivocada aquí habría degradado en silencio cada máscara de cada conjunto de datos construido con ella.
Acuerdo sobre máscaras
Dos anotadores que segmentan el mismo objeto no producirán píxeles idénticos, así que el acuerdo de máscaras necesita algo más que una cifra de solapamiento. Potato usa STAPLE (Warfield, Zou y Wells, 2004), que estima un límite de consenso latente junto con una sensibilidad y una especificidad para cada evaluador.
La diferencia con un voto mayoritario por píxel no es cosmética. Con dos anotadores cuidadosos superados por tres ruidosos, el voto mayoritario obtiene un Dice de 0.846 respecto a la verdad y STAPLE obtiene 1.000, porque STAPLE advierte que la pareja cuidadosa coincide entre sí mientras que los tres ruidosos no.
Consulta el consenso de máscaras para ver los detalles y las salvedades.
Relacionado
- Indicaciones de texto — encuentra objetos por su nombre en lugar de por clic
- Seguimiento en vídeo — lleva una máscara a lo largo de un clip
- Primitivas geométricas — las otras formas
- Zoo de modelos — qué se descarga y con qué licencia
- Entrena modelos de detección y segmentación con anotaciones de imágenes — ajuste fino del decodificador de máscaras de SAM con los contornos de tus anotadores para obtener preetiquetas de contorno
- Documentación fuente
Diseños de ejemplo
Cada diseño es una configuración de Potato que funciona y que puedes descargar y ejecutar.
- BBBC038 2018 Data Science Bowl Outlines of Every NucleusDraw one polygon per nucleus on ten real images from the CC0 2018 Data Science Bowl set, with Cellpose fine-tuning that writes outlines back as pre-labels.
- NuInsSeg Nucleus and Ambiguous Area Outlines in H&E HistologyOutline nuclei and mark ambiguous areas with polygons on ten real H&E patches, with Cellpose fine-tuning that writes outlines back as pre-labels.
- MSD Spleen Segmentation on Portal-Venous CTPaint the spleen on CT volumes in three linked views with window presets, with a 3D U-Net pre-labeler. The sample volumes are synthetic, illustrative phantoms.
- LIDC-IDRI Lung Nodule Outlines and Ratings on Chest CTOutline lung nodules on chest CT volumes in three linked views and rate nine characteristics, with a 3D U-Net pre-labeler. The volumes are synthetic phantoms.