Skip to content

Préannotation par LLM et vision

Comment accélérer l'annotation grâce au préétiquetage par LLM et à la vérification humaine, à l'apprentissage en contexte, à la mise en évidence des options et à la préannotation visuelle, avec le support d'IA de Potato.

La préannotation utilise un modèle pour proposer des étiquettes qu'un humain vérifie ou corrige ensuite. Contrôler une bonne suggestion est bien plus rapide que d'étiqueter à partir de zéro : la préannotation peut donc réduire nettement le temps d'annotation, tant que vous gardez un humain dans la boucle. C'est de l'apprentissage automatique avec humain dans la boucle.

Potato intègre un support d'IA pour OpenAI, Claude, Gemini, Ollama et d'autres.

Comment fonctionne la préannotation

  1. Un modèle (un LLM, ou un modèle de vision pour les images) prédit une étiquette pour chaque élément.
  2. La prédiction est présentée à l'annotateur sous forme de suggestion préremplie ou d'option mise en évidence.
  3. L'annotateur la confirme ou la corrige.
  4. C'est l'étiquette vérifiée, et non la sortie brute du modèle, qui devient votre donnée.

L'activer

yaml
ai_support:
  enabled: true
  endpoint_type: openai      # or anthropic, gemini, ollama, ...
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3

Potato propose plusieurs variantes :

  • Étiquetage par apprentissage en contexte : le modèle étiquette les éléments à partir de quelques exemples dans l'invite ; l'humain vérifie.
  • Mise en évidence des options : le modèle présélectionne les étiquettes qu'il juge les plus probables, de sorte que l'annotateur confirme au lieu de chercher.
  • Support d'IA visuelle : les modèles de vision (GPT-4V, Claude, Gemini, ou un détecteur comme YOLO) proposent des étiquettes et des cadres pour les images.

Le risque : le biais d'automatisation

Le danger de la préannotation, c'est le biais d'automatisation : les annotateurs entérinent machinalement les suggestions du modèle et en importent les erreurs dans vos données « de référence ». Prémunissez-vous-en :

  • Gardez des standards de référence en service pour repérer l'acceptation aveugle.
  • Ne préremplissez pas les éléments que vous utilisez pour mesurer l'accord ; mesurez sur des éléments sans suggestion.
  • Pour les cas difficiles, traitez les suggestions à faible confiance comme des indices, et non comme des valeurs par défaut.

Préannotation et apprentissage actif

La préannotation rend chaque étiquette plus rapide. L'apprentissage actif rend chaque étiquette plus utile en choisissant les éléments à étiqueter ensuite. Les deux se combinent bien.

Pour aller plus loin