Segmentation interactive
Cliquez sur un objet et obtenez un masque, dans le navigateur, sans GPU et sans appel réseau par clic. Comment Potato exécute MobileSAM avec ONNX Runtime Web, et comment le configurer.
Cliquez sur un objet et recevez un masque en 130 ms environ, dans le navigateur de l'annotateur, sans GPU et sans aller-retour réseau. Deux commandes l'installent, et une fois les poids sur la machine il fonctionne en environnement isolé du réseau.
Installation
potato download-models onnxruntime # 13.5 MB, once per install
potato download-models mobile_sam # 45 MBAjoutez ensuite sam aux tools d'un schéma :
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Outline every object you find."
source_field: image
tools: [sam, polygon, brush, eraser]
labels:
- name: object
color: "#6e56cf"Les outils pinceau, gomme et remplissage sensible à la couleur restent disponibles pour le travail manuel. La segmentation interactive est une façon de commencer un masque, non un substitut à sa correction.
Exécutez examples/image/interactive-segmentation/ pour la voir à l'œuvre.
Fonctionnement
Le modèle est MobileSAM, une variante distillée de Segment Anything, exécutée avec ONNX Runtime Web.
L'encodeur et le décodeur sont séparés à dessein. L'encodeur est coûteux et s'exécute une fois par image ; le décodeur est léger et s'exécute une fois par clic. Les garder séparés et mettre en cache le plongement par image est la raison même pour laquelle le clic paraît interactif plutôt que semblable à une requête réseau. Le cache est borné et évince le plongement le moins récemment utilisé.
Vous pouvez cliquer positivement pour ajouter au masque, cliquer négativement pour en retrancher, encadrer un objet pour restreindre la recherche, ou affiner un masque existant.
Pourquoi le navigateur est le choix par défaut
pip install potato-annotation devrait vous donner une segmentation fonctionnelle sans GPU, sans nouvelle dépendance Python et sans réseau sortant au moment de l'annotation. Ce dernier point n'est pas un luxe : plusieurs groupes de recherche font tourner Potato en environnement isolé du réseau, où un modèle récupéré au moment du clic est une fonctionnalité absente plutôt que lente.
| Navigateur (par défaut) | Point d'accès serveur | |
|---|---|---|
| Installation | potato download-models | pip install 'potato-annotation[vision]' plus les poids |
| GPU | Non requis | Recommandé |
| Environnement isolé du réseau | Oui, une fois les modèles téléchargés | Oui |
| Taille du modèle | Distillé, environ 45 Mo | Celui que vous fournissez |
Un point d'accès serveur existe pour les laboratoires qui disposent d'un GPU et veulent un modèle plus grand, mais il reste l'exception plutôt que le choix par défaut.
Le contrat d'entrée a été vérifié, non supposé
L'encodeur de SAM prend une image prétraitée, et la spécification admet plus d'une lecture plausible. Trois de ces lectures produisent des masques assurés, plausibles et faux : 70 à 148 pixels d'erreur sur le centroïde, ce qui ressemble à un annotateur un peu approximatif plutôt qu'à une chaîne de traitement défaillante. La bonne lecture tombe à 0,1 px.
La différence n'est visible que si l'on vérifie sur de vrais poids et une vraie vérité terrain, c'est pourquoi le contrat est fixé par un test plutôt que par un commentaire. Une mauvaise lecture aurait dégradé en silence chaque masque de chaque jeu de données construit avec elle.
Accord sur les masques
Deux annotateurs qui segmentent le même objet ne produiront pas des pixels identiques, si bien que l'accord sur les masques demande plus qu'un chiffre de recouvrement. Potato utilise STAPLE (Warfield, Zou et Wells, 2004), qui estime une frontière de consensus latente ainsi qu'une sensibilité et une spécificité pour chaque évaluateur.
La différence avec un vote majoritaire pixel par pixel n'est pas cosmétique. Avec deux annotateurs soigneux mis en minorité trois contre deux par des annotateurs bruités, le vote majoritaire obtient un Dice de 0,846 face à la vérité et STAPLE obtient 1,000, car STAPLE remarque que la paire soigneuse s'accorde entre elle alors que les trois bruités non.
Voir consensus de masques pour les détails et les réserves.
Voir aussi
- Invites textuelles — trouver des objets par leur nom plutôt que par un clic
- Suivi vidéo — porter un masque à travers un clip
- Primitives géométriques — les autres formes
- Catalogue de modèles — ce qui se télécharge, et sous quelle licence
- Entraîner des modèles de détection et de segmentation sur des annotations d'images — affiner le décodeur de masques de SAM sur les contours des annotateurs pour obtenir des pré-étiquettes de contours
- Documentation source
Exemples de designs
Chaque design est une configuration Potato fonctionnelle à télécharger et à exécuter.
- BBBC038 2018 Data Science Bowl Outlines of Every NucleusDraw one polygon per nucleus on ten real images from the CC0 2018 Data Science Bowl set, with Cellpose fine-tuning that writes outlines back as pre-labels.
- NuInsSeg Nucleus and Ambiguous Area Outlines in H&E HistologyOutline nuclei and mark ambiguous areas with polygons on ten real H&E patches, with Cellpose fine-tuning that writes outlines back as pre-labels.
- MSD Spleen Segmentation on Portal-Venous CTPaint the spleen on CT volumes in three linked views with window presets, with a 3D U-Net pre-labeler. The sample volumes are synthetic, illustrative phantoms.
- LIDC-IDRI Lung Nodule Outlines and Ratings on Chest CTOutline lung nodules on chest CT volumes in three linked views and rate nine characteristics, with a 3D U-Net pre-labeler. The volumes are synthetic phantoms.