Skip to content

オプションハイライト

離散アノテーションタスクにおけるAI支援による正解候補オプションのハイライト。

オプションハイライト

オプションハイライトは、離散アノテーションタスクにおいて最も正解の可能性が高いオプションをアノテーターが特定するのを支援するAI支援機能です。LLMを使用してシステムがコンテンツとタスクの説明を分析し、最も可能性の高いtop-kオプションを予測して完全な不透明度で表示し、可能性の低いオプションを薄く表示します。

概要

有効にすると、オプションハイライトは：

  1. LLMを使用してインスタンスのコンテンツを分析する
  2. タスクのコンテキストに基づいて最も可能性の高いオプションを特定する
  3. 星印インジケーターで有力なオプションをハイライトする
  4. 可能性の低いオプションを薄く表示する（不透明度は設定可能）
  5. すべてのオプションは完全にクリック可能 - これはガイダンスであり制限ではない

これは、多数のオプションがあるタスク、新しいアノテーターのトレーニング、認知負荷の軽減、アノテーションの信頼度を高めるための「セカンドオピニオン」の提供に特に有用です。

設定

設定のai_supportの下にoption_highlightingセクションを追加します：

yaml
ai_support:
  enabled: true
  endpoint_type: "openai"
  ai_config:
    model: "gpt-4o-mini"
    api_key: "${OPENAI_API_KEY}"
    temperature: 0.3
 
  option_highlighting:
    enabled: true
    top_k: 3                    # Number of options to highlight (1-10)
    dim_opacity: 0.4            # Opacity for non-highlighted options (0.1-0.9)
    auto_apply: true            # Apply on page load vs manual trigger
    schemas: null               # null = all schemas, or ["schema1", "schema2"]
    prefetch_count: 20          # Items to prefetch
 
  cache_config:
    disk_cache:
      enabled: true
      path: annotation_output/ai_cache.json
    prefetch:
      warm_up_page_count: 10
      on_next: 3
      on_prev: 1

設定リファレンス

オプション型デフォルト説明
enabledbooleanfalseオプションハイライトの有効化
top_kinteger3ハイライトするオプション数（1-10）
dim_opacityfloat0.4薄く表示するオプションの不透明度（0.1-0.9）
auto_applybooleantrueページ読み込み時に自動適用
schemaslist/nullnull特定のスキーマに限定、またはnullで全スキーマ
prefetch_countinteger20先読みするアイテム数

サポートされるアノテーションタイプ

オプションハイライトは離散選択タイプで動作します：

  • radio - 単一選択
  • multiselect - 複数チェックボックス選択
  • likert - リッカート尺度評価
  • select - ドロップダウン選択

以下には適用されません：span、textbox、slider、image_annotation、video_annotation。

視覚的な外観

  • ハイライトされたオプション：完全な不透明度、金色の星印インジケーター、微妙な背景ハイライト
  • 薄く表示されたオプション：不透明度低下（設定可能）、ホバー時に0.7まで明るくなる、完全にクリック可能
  • フォームインジケーター：ハイライトがアクティブなアノテーションフォームに金色の左ボーダー、小さな「AI」バッジ

プリフェッチ

LLMクエリは遅くなる可能性があるため、オプションハイライトは積極的なプリフェッチを使用します：

  1. ウォームアップ：サーバー起動時に最初のNアイテムをプリフェッチ
  2. ナビゲーション時：ユーザーが前後に移動する際に次のアイテムをプリフェッチ
  3. バックグラウンド処理：プリフェッチは非同期で実行
  4. キャッシュ：結果はディスクにキャッシュされ再利用可能

ベストプラクティス

  1. 高速モデルを使用する - gpt-4o-miniは速度と精度のバランスが良い
  2. 適切なtop_kを設定する - バイナリ選択には1を、4-5オプションには2-3を使用
  3. プリフェッチを有効にする - 高いprefetch_count（20以上）でスムーズなナビゲーションを確保
  4. アノテーターをトレーニングする - ハイライトは提案であり要件ではないことを説明する

関連情報

実装の詳細については、ソースドキュメントを参照してください。