Skip to content
このページはまだお使いの言語に翻訳されていません。英語版を表示しています。

Optionshervorhebung

KI-gestützte Hervorhebung wahrscheinlich korrekter Optionen für diskrete Annotationsaufgaben.

Optionshervorhebung

Die Optionshervorhebung ist eine KI-gestützte Funktion, die Annotatoren dabei hilft, die wahrscheinlichsten richtigen Optionen für diskrete Annotationsaufgaben zu erkennen. Mithilfe eines LLM analysiert das System den Inhalt und die Aufgabenbeschreibung, um die top-k wahrscheinlichsten Optionen vorherzusagen, und zeigt diese mit voller Deckkraft an, während weniger wahrscheinliche Optionen abgedunkelt werden.

Übersicht

Wenn aktiviert, führt die Optionshervorhebung folgende Schritte aus:

  1. Analysiert den Instanzinhalt mit einem LLM
  2. Identifiziert die wahrscheinlichsten Optionen basierend auf dem Aufgabenkontext
  3. Hebt wahrscheinliche Optionen mit einem Stern-Indikator hervor
  4. Dunkelt weniger wahrscheinliche Optionen ab (konfigurierbare Deckkraft)
  5. Hält alle Optionen vollständig klickbar – dies ist eine Empfehlung, keine Einschränkung

Dies ist besonders nützlich für Aufgaben mit vielen Optionen, beim Training neuer Annotatoren, zur Reduzierung der kognitiven Belastung und als "zweite Meinung" zur Steigerung der Annotationskonfidenz.

Konfiguration

Fügen Sie den option_highlighting-Abschnitt unter ai_support in Ihrer Konfiguration hinzu:

yaml
ai_support:
  enabled: true
  endpoint_type: "openai"
  ai_config:
    model: "gpt-4o-mini"
    api_key: "${OPENAI_API_KEY}"
    temperature: 0.3
 
  option_highlighting:
    enabled: true
    top_k: 3                    # Number of options to highlight (1-10)
    dim_opacity: 0.4            # Opacity for non-highlighted options (0.1-0.9)
    auto_apply: true            # Apply on page load vs manual trigger
    schemas: null               # null = all schemas, or ["schema1", "schema2"]
    prefetch_count: 20          # Items to prefetch
 
  cache_config:
    disk_cache:
      enabled: true
      path: annotation_output/ai_cache.json
    prefetch:
      warm_up_page_count: 10
      on_next: 3
      on_prev: 1

Konfigurationsreferenz

OptionTypStandardBeschreibung
enabledbooleanfalseOptionshervorhebung aktivieren
top_kinteger3Anzahl der hervorzuhebenden Optionen (1–10)
dim_opacityfloat0,4Deckkraft für abgedunkelte Optionen (0,1–0,9)
auto_applybooleantrueAutomatisch beim Seitenladen anwenden
schemaslist/nullnullAuf bestimmte Schemata beschränken, oder null für alle
prefetch_countinteger20Anzahl der vorab zu ladenden Elemente

Unterstützte Annotationstypen

Optionshervorhebung funktioniert mit diskreten Auswahltypen:

  • radio – Einfachauswahl
  • multiselect – Mehrfachauswahl per Checkbox
  • likert – Likert-Skalenbewertungen
  • select – Dropdown-Auswahl

Sie gilt nicht für: span, textbox, slider, image_annotation oder video_annotation.

Visuelles Erscheinungsbild

  • Hervorgehobene Optionen: Volle Deckkraft mit einem goldenen Stern-Indikator und subtiler Hintergrundhebung
  • Abgedunkelte Optionen: Reduzierte Deckkraft (konfigurierbar), bei Hover auf 0,7 aufgehellt, vollständig klickbar
  • Formular-Indikator: Goldener linker Rand an Annotationsformularen mit aktiver Hervorhebung, kleines "AI"-Badge

Vorabruf

Da LLM-Abfragen langsam sein können, verwendet die Optionshervorhebung aggressiven Vorabruf:

  1. Warmup: Die ersten N Elemente beim Serverstart vorab laden
  2. Bei Navigation: Nächste Elemente werden vorab geladen, wenn der Nutzer vor- oder zurücknavigiert
  3. Hintergrundverarbeitung: Vorabruf erfolgt asynchron
  4. Caching: Ergebnisse werden zur Wiederverwendung auf Festplatte gecacht

Bewährte Vorgehensweisen

  1. Schnelles Modell verwenden – gpt-4o-mini bietet ein gutes Gleichgewicht aus Geschwindigkeit und Genauigkeit
  2. Geeignetes top_k wählen – bei binären Auswahlen 1 verwenden, bei 4–5 Optionen 2–3
  3. Vorabruf aktivieren – höherer prefetch_count (20+) gewährleistet flüssige Navigation
  4. Annotatoren schulen – erklären, dass Hervorhebungen Vorschläge sind, keine Anforderungen

Weiterführende Informationen

Implementierungsdetails finden Sie in der Quelldokumentation.