Aller au contenu

Segmentation interactive

Cliquez sur un objet et obtenez un masque, dans le navigateur, sans GPU et sans appel réseau par clic. Comment Potato exécute MobileSAM avec ONNX Runtime Web, et comment le configurer.

Cliquez sur un objet et recevez un masque en 130 ms environ, dans le navigateur de l'annotateur, sans GPU et sans aller-retour réseau. Deux commandes l'installent, et une fois les poids sur la machine il fonctionne en environnement isolé du réseau.

Installation

bash
potato download-models onnxruntime     # 13.5 MB, once per install
potato download-models mobile_sam      # 45 MB

Ajoutez ensuite sam aux tools d'un schéma :

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Outline every object you find."
    source_field: image
    tools: [sam, polygon, brush, eraser]
    labels:
      - name: object
        color: "#6e56cf"

Les outils pinceau, gomme et remplissage sensible à la couleur restent disponibles pour le travail manuel. La segmentation interactive est une façon de commencer un masque, non un substitut à sa correction.

Exécutez examples/image/interactive-segmentation/ pour la voir à l'œuvre.

Fonctionnement

Le modèle est MobileSAM, une variante distillée de Segment Anything, exécutée avec ONNX Runtime Web.

L'encodeur et le décodeur sont séparés à dessein. L'encodeur est coûteux et s'exécute une fois par image ; le décodeur est léger et s'exécute une fois par clic. Les garder séparés et mettre en cache le plongement par image est la raison même pour laquelle le clic paraît interactif plutôt que semblable à une requête réseau. Le cache est borné et évince le plongement le moins récemment utilisé.

Vous pouvez cliquer positivement pour ajouter au masque, cliquer négativement pour en retrancher, encadrer un objet pour restreindre la recherche, ou affiner un masque existant.

Pourquoi le navigateur est le choix par défaut

pip install potato-annotation devrait vous donner une segmentation fonctionnelle sans GPU, sans nouvelle dépendance Python et sans réseau sortant au moment de l'annotation. Ce dernier point n'est pas un luxe : plusieurs groupes de recherche font tourner Potato en environnement isolé du réseau, où un modèle récupéré au moment du clic est une fonctionnalité absente plutôt que lente.

Navigateur (par défaut)Point d'accès serveur
Installationpotato download-modelspip install 'potato-annotation[vision]' plus les poids
GPUNon requisRecommandé
Environnement isolé du réseauOui, une fois les modèles téléchargésOui
Taille du modèleDistillé, environ 45 MoCelui que vous fournissez

Un point d'accès serveur existe pour les laboratoires qui disposent d'un GPU et veulent un modèle plus grand, mais il reste l'exception plutôt que le choix par défaut.

Le contrat d'entrée a été vérifié, non supposé

L'encodeur de SAM prend une image prétraitée, et la spécification admet plus d'une lecture plausible. Trois de ces lectures produisent des masques assurés, plausibles et faux : 70 à 148 pixels d'erreur sur le centroïde, ce qui ressemble à un annotateur un peu approximatif plutôt qu'à une chaîne de traitement défaillante. La bonne lecture tombe à 0,1 px.

La différence n'est visible que si l'on vérifie sur de vrais poids et une vraie vérité terrain, c'est pourquoi le contrat est fixé par un test plutôt que par un commentaire. Une mauvaise lecture aurait dégradé en silence chaque masque de chaque jeu de données construit avec elle.

Accord sur les masques

Deux annotateurs qui segmentent le même objet ne produiront pas des pixels identiques, si bien que l'accord sur les masques demande plus qu'un chiffre de recouvrement. Potato utilise STAPLE (Warfield, Zou et Wells, 2004), qui estime une frontière de consensus latente ainsi qu'une sensibilité et une spécificité pour chaque évaluateur.

La différence avec un vote majoritaire pixel par pixel n'est pas cosmétique. Avec deux annotateurs soigneux mis en minorité trois contre deux par des annotateurs bruités, le vote majoritaire obtient un Dice de 0,846 face à la vérité et STAPLE obtient 1,000, car STAPLE remarque que la paire soigneuse s'accorde entre elle alors que les trois bruités non.

Voir consensus de masques pour les détails et les réserves.

Voir aussi

Exemples de designs

Chaque design est une configuration Potato fonctionnelle à télécharger et à exécuter.