LLMs für intelligente Annotations-Hinweise integrieren

KI-gestützte Annotation kann sowohl Geschwindigkeit als auch Qualität erheblich verbessern. Dieser Leitfaden behandelt die Integration von OpenAI, Claude, Gemini und lokalen Modellen, um Ihren Annotatoren intelligente Vorschläge bereitzustellen.

Was LLM-Integration ermöglicht

Pre-Annotation-Vorschläge: KI liefert initiale Labels zur Überprüfung
Schlüsselwort-Hervorhebung: Relevante Begriffe automatisch hervorheben
Qualitätshinweise: Potenzielle Annotationsfehler kennzeichnen
Erklärungsgenerierung: Annotatoren bei schwierigen Fällen helfen

Grundlegende OpenAI-Integration

yaml

annotation_task_name: "AI-Assisted Sentiment Analysis"
 
# AI configuration
ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3
    max_tokens: 500
 
  features:
    hints:
      enabled: true
    keyword_highlighting:
      enabled: true
    label_suggestions:
      enabled: true
 
# ... rest of config
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]

Unterstützte Anbieter

OpenAI

yaml

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4  # or gpt-4o, gpt-3.5-turbo
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3
    max_tokens: 500

Anthropic Claude

yaml

ai_support:
  enabled: true
  endpoint_type: anthropic
 
  ai_config:
    model: claude-3-sonnet-20240229
    api_key: ${ANTHROPIC_API_KEY}
    temperature: 0.3
    max_tokens: 500

Google Gemini

yaml

ai_support:
  enabled: true
  endpoint_type: google
 
  ai_config:
    model: gemini-1.5-pro
    api_key: ${GOOGLE_API_KEY}

Lokale Modelle (Ollama)

yaml

ai_support:
  enabled: true
  endpoint_type: ollama
 
  ai_config:
    model: llama2  # or mistral, mixtral, etc.
    base_url: http://localhost:11434

Feature: Label-Vorschläge

KI-Modelle können Labels zur Überlegung durch den Annotator vorschlagen:

yaml

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
 
  features:
    label_suggestions:
      enabled: true
      show_confidence: true
 
annotation_schemes:
  - annotation_type: radio
    name: category
    labels: [News, Opinion, Satire, Other]

Feature: Schlüsselwort-Hervorhebung

Wichtige Begriffe automatisch hervorheben:

yaml

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
 
  features:
    keyword_highlighting:
      enabled: true

Feature: Intelligente Hinweise

Kontextbezogene Anleitungen für Annotatoren bereitstellen:

yaml

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
 
  features:
    hints:
      enabled: true

Hinweise erscheinen als kontextbezogene Anleitungen, ohne die Antwort zu verraten, und helfen Annotatoren, schwierige Fälle durchzudenken.

Vollständige KI-gestützte Konfiguration

yaml

annotation_task_name: "AI-Assisted NER Annotation"
 
# AI Configuration
ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.2
    max_tokens: 500
 
  features:
    hints:
      enabled: true
    keyword_highlighting:
      enabled: true
    label_suggestions:
      enabled: true
      show_confidence: true
 
  cache_config:
    disk_cache:
      enabled: true
      path: "ai_cache/cache.json"
    prefetch:
      warm_up_page_count: 50
      on_next: 5
      on_prev: 2
 
data_files:
  - data/texts.json
 
item_properties:
  id_key: id
  text_key: content
 
annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Label named entities (AI suggestions provided)"
    labels:
      - name: PERSON
        color: "#FF6B6B"
      - name: ORG
        color: "#4ECDC4"
      - name: LOC
        color: "#45B7D1"
      - name: DATE
        color: "#96CEB4"
 
output_annotation_dir: "annotation_output/"
output_annotation_format: "json"

Mit KI-Vorschlägen arbeiten

Wenn KI-Unterstützung aktiviert ist, sehen Annotatoren Vorschläge neben der Annotationsoberfläche. Sie können die Empfehlungen der KI akzeptieren, ändern oder ignorieren. Die endgültige Annotation spiegelt stets die Entscheidung des Annotators wider und gewährleistet menschliche Aufsicht.

KI-Antworten werden automatisch zwischengespeichert, wenn Caching aktiviert ist, sodass dieselbe Instanz keine mehrfachen API-Aufrufe auslöst.

Benutzerdefinierte Prompts

Potato enthält Standard-Prompts für jeden Annotationstyp, die in potato/ai/prompt/ gespeichert sind. Sie können diese anpassen, indem Sie die Prompt-Dateien bearbeiten:

Annotationstyp	Prompt-Datei
Radio-Buttons	`radio_prompt.txt`
Likert-Skalen	`likert_prompt.txt`
Checkboxen	`checkbox_prompt.txt`
Span-Annotation	`span_prompt.txt`
Texteingabe	`text_prompt.txt`

Prompts unterstützen Variablensubstitution mit {text}, {labels} und {description}.

Tipps für KI-gestützte Annotation

Konservativ starten: Zunächst alle Vorschläge überprüfen
Akzeptanzraten überwachen: Niedrige Raten weisen auf Prompt-Probleme hin
Prompts iterieren: Basierend auf häufigen Fehlern verfeinern
Menschliche Aufsicht aufrechterhalten: KI unterstützt, Menschen entscheiden
KI- vs. menschliche Labels verfolgen: KI-Genauigkeit im Laufe der Zeit messen

Neu in v2.2: Option Highlighting

Potato 2.2 fügt eine neue KI-Funktion namens Option Highlighting hinzu, die Inhalte analysiert, um die wahrscheinlichsten korrekten Optionen für diskrete Annotationsaufgaben (Radio, Multiselect, Likert) hervorzuheben. Top-k-Optionen werden mit einem Stern-Indikator hervorgehoben, während weniger wahrscheinliche Optionen abgeblendet werden, wobei alle Optionen vollständig anklickbar bleiben.

yaml

ai_support:
  option_highlighting:
    enabled: true
    top_k: 3
    dim_opacity: 0.4

Vollständige Option-Highlighting-Dokumentation lesen →

Nächste Schritte

Active Learning aktivieren, um unsichere Elemente zu priorisieren
Qualitätskontrolle mit KI-Metriken einrichten
Über lokale Modelle für Datenschutz informieren
Option Highlighting für geführte Annotation erkunden

Vollständige KI-Dokumentation unter /docs/features/ai-support.