Intégrer les LLM pour des indices d'annotation intelligents

L'annotation assistée par IA peut améliorer considérablement la vitesse et la qualité. Ce guide couvre l'intégration d'OpenAI, Claude, Gemini et de modèles locaux pour fournir des suggestions intelligentes à vos annotateurs.

Ce que permet l'intégration LLM

• Suggestions de pré-annotation : L'IA fournit des étiquettes initiales pour révision
• Surlignage de mots-clés : Surligner automatiquement les termes pertinents
• Indices de qualité : Signaler les erreurs potentielles d'annotation
• Génération d'explications : Aider les annotateurs à comprendre les cas difficiles

Intégration OpenAI de base

annotation_task_name: "AI-Assisted Sentiment Analysis"
 
# AI configuration
ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3
    max_tokens: 500
 
  features:
    hints:
      enabled: true
    keyword_highlighting:
      enabled: true
    label_suggestions:
      enabled: true
 
# ... rest of config
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]

Fournisseurs supportés

OpenAI

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4  # or gpt-4o, gpt-3.5-turbo
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3
    max_tokens: 500

Anthropic Claude

ai_support:
  enabled: true
  endpoint_type: anthropic
 
  ai_config:
    model: claude-3-sonnet-20240229
    api_key: ${ANTHROPIC_API_KEY}
    temperature: 0.3
    max_tokens: 500

Google Gemini

ai_support:
  enabled: true
  endpoint_type: google
 
  ai_config:
    model: gemini-1.5-pro
    api_key: ${GOOGLE_API_KEY}

Modèles locaux (Ollama)

ai_support:
  enabled: true
  endpoint_type: ollama
 
  ai_config:
    model: llama2  # or mistral, mixtral, etc.
    base_url: http://localhost:11434

Fonctionnalité : Suggestions d'étiquettes

Les modèles d'IA peuvent suggérer des étiquettes pour considération par l'annotateur :

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
 
  features:
    label_suggestions:
      enabled: true
      show_confidence: true
 
annotation_schemes:
  - annotation_type: radio
    name: category
    labels: [News, Opinion, Satire, Other]

Fonctionnalité : Indices intelligents

Fournir des orientations contextuelles aux annotateurs :

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
 
  features:
    hints:
      enabled: true

Les indices apparaissent comme des orientations contextuelles sans révéler la réponse, aidant les annotateurs à réfléchir aux cas difficiles.

Configuration complète d'annotation assistée par IA

annotation_task_name: "AI-Assisted NER Annotation"
 
# AI Configuration
ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.2
    max_tokens: 500
 
  features:
    hints:
      enabled: true
    keyword_highlighting:
      enabled: true
    label_suggestions:
      enabled: true
      show_confidence: true
 
  cache_config:
    disk_cache:
      enabled: true
      path: "ai_cache/cache.json"
    prefetch:
      warm_up_page_count: 50
      on_next: 5
      on_prev: 2
 
data_files:
  - data/texts.json
 
item_properties:
  id_key: id
  text_key: content
 
annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Label named entities (AI suggestions provided)"
    labels:
      - name: PERSON
        color: "#FF6B6B"
      - name: ORG
        color: "#4ECDC4"
      - name: LOC
        color: "#45B7D1"
      - name: DATE
        color: "#96CEB4"
 
output_annotation_dir: "annotation_output/"
output_annotation_format: "json"

Travailler avec les suggestions IA

Lorsque le support IA est activé, les annotateurs voient des suggestions à côté de l'interface d'annotation. Ils peuvent accepter, modifier ou ignorer les recommandations de l'IA. L'annotation finale reflète toujours la décision de l'annotateur, garantissant une supervision humaine.

Les réponses IA sont automatiquement mises en cache lorsque la mise en cache est activée, de sorte que la même instance ne déclenchera pas plusieurs appels API.

Prompts personnalisés

Potato inclut des prompts par défaut pour chaque type d'annotation, stockés dans potato/ai/prompt/. Vous pouvez les personnaliser en éditant les fichiers de prompts :

Les prompts supportent la substitution de variables avec {text}, {labels} et {description}.

Conseils pour l'annotation assistée par IA

1. Commencez prudemment : Révisez toutes les suggestions initialement
2. Surveillez les taux d'acceptation : Des taux bas indiquent des problèmes de prompt
3. Itérez sur les prompts : Affinez en fonction des erreurs courantes
4. Maintenez la supervision humaine : L'IA assiste, les humains décident
5. Suivez IA vs humain : Mesurez la précision de l'IA au fil du temps

Nouveau dans v2.2 : Surlignage d'options

Potato 2.2 ajoute une nouvelle fonctionnalité IA appelée surlignage d'options qui analyse le contenu pour surligner les options les plus probablement correctes pour les tâches d'annotation discrètes (radio, multiselect, likert). Les top-k options sont surlignées avec un indicateur en étoile tandis que les options moins probables sont atténuées, tout en restant entièrement cliquables.

ai_support:
  option_highlighting:
    enabled: true
    top_k: 3
    dim_opacity: 0.4

Lire la documentation complète du surlignage d'options ->

Prochaines étapes

• Activez l'apprentissage actif pour prioriser les éléments incertains
• Mettez en place un contrôle qualité avec des métriques IA
• Découvrez les modèles locaux pour la confidentialité
• Explorez le surlignage d'options pour l'annotation guidée

Documentation complète sur l'IA sur /docs/features/ai-support.