Optionshervorhebung

Die Optionshervorhebung ist eine KI-gestützte Funktion, die Annotatoren dabei hilft, die wahrscheinlichsten richtigen Optionen für diskrete Annotationsaufgaben zu erkennen. Mithilfe eines LLM analysiert das System den Inhalt und die Aufgabenbeschreibung, um die top-k wahrscheinlichsten Optionen vorherzusagen, und zeigt diese mit voller Deckkraft an, während weniger wahrscheinliche Optionen abgedunkelt werden.

Übersicht

Wenn aktiviert, führt die Optionshervorhebung folgende Schritte aus:

1. Analysiert den Instanzinhalt mit einem LLM
2. Identifiziert die wahrscheinlichsten Optionen basierend auf dem Aufgabenkontext
3. Hebt wahrscheinliche Optionen mit einem Stern-Indikator hervor
4. Dunkelt weniger wahrscheinliche Optionen ab (konfigurierbare Deckkraft)
5. Hält alle Optionen vollständig klickbar – dies ist eine Empfehlung, keine Einschränkung

Dies ist besonders nützlich für Aufgaben mit vielen Optionen, beim Training neuer Annotatoren, zur Reduzierung der kognitiven Belastung und als "zweite Meinung" zur Steigerung der Annotationskonfidenz.

Konfiguration

Fügen Sie den option_highlighting-Abschnitt unter ai_support in Ihrer Konfiguration hinzu:

ai_support:
  enabled: true
  endpoint_type: "openai"
  ai_config:
    model: "gpt-4o-mini"
    api_key: "${OPENAI_API_KEY}"
    temperature: 0.3
 
  option_highlighting:
    enabled: true
    top_k: 3                    # Number of options to highlight (1-10)
    dim_opacity: 0.4            # Opacity for non-highlighted options (0.1-0.9)
    auto_apply: true            # Apply on page load vs manual trigger
    schemas: null               # null = all schemas, or ["schema1", "schema2"]
    prefetch_count: 20          # Items to prefetch
 
  cache_config:
    disk_cache:
      enabled: true
      path: annotation_output/ai_cache.json
    prefetch:
      warm_up_page_count: 10
      on_next: 3
      on_prev: 1

Konfigurationsreferenz

Unterstützte Annotationstypen

Optionshervorhebung funktioniert mit diskreten Auswahltypen:

• radio – Einfachauswahl
• multiselect – Mehrfachauswahl per Checkbox
• likert – Likert-Skalenbewertungen
• select – Dropdown-Auswahl

Sie gilt nicht für: span, textbox, slider, image_annotation oder video_annotation.

Visuelles Erscheinungsbild

• Hervorgehobene Optionen: Volle Deckkraft mit einem goldenen Stern-Indikator und subtiler Hintergrundhebung
• Abgedunkelte Optionen: Reduzierte Deckkraft (konfigurierbar), bei Hover auf 0,7 aufgehellt, vollständig klickbar
• Formular-Indikator: Goldener linker Rand an Annotationsformularen mit aktiver Hervorhebung, kleines "AI"-Badge

Vorabruf

Da LLM-Abfragen langsam sein können, verwendet die Optionshervorhebung aggressiven Vorabruf:

1. Warmup: Die ersten N Elemente beim Serverstart vorab laden
2. Bei Navigation: Nächste Elemente werden vorab geladen, wenn der Nutzer vor- oder zurücknavigiert
3. Hintergrundverarbeitung: Vorabruf erfolgt asynchron
4. Caching: Ergebnisse werden zur Wiederverwendung auf Festplatte gecacht

Bewährte Vorgehensweisen

1. Schnelles Modell verwenden – gpt-4o-mini bietet ein gutes Gleichgewicht aus Geschwindigkeit und Genauigkeit
2. Geeignetes top_k wählen – bei binären Auswahlen 1 verwenden, bei 4–5 Optionen 2–3
3. Vorabruf aktivieren – höherer prefetch_count (20+) gewährleistet flüssige Navigation
4. Annotatoren schulen – erklären, dass Hervorhebungen Vorschläge sind, keine Anforderungen

Weiterführende Informationen

• AI-Unterstützung – Allgemeine AI-Assistenten-Konfiguration
• Diversity Ordering – Komplementäre AI-Funktion für Elementreihenfolge

Implementierungsdetails finden Sie in der Quelldokumentation.