Skip to content

ユーザー管理

ユーザーアクセス、認証、コラボレーション設定を構成します。

ユーザー管理

Potatoは、オープンアクセスから制限付き認証まで、柔軟なユーザー管理オプションを提供します。

アクセスモード

オープンアクセス

ログインなしで誰でもアノテーションを許可：

yaml
allow_all_users: true

制限付きアクセス

特定のユーザーに制限：

yaml
allow_all_users: false
authorized_users:
  - alice@example.com
  - bob@example.com
  - researcher@university.edu

認証

メールベースのログイン

ユーザーはメールアドレスを入力してアノテーションインターフェースにアクセスします：

yaml
allow_all_users: false
authorized_users:
  - user1@example.com
  - user2@example.com

クラウドソーシング統合

ProlificまたはMTurkワーカー向け：

yaml
# Prolific integration
allow_all_users: true
prolific_integration: true
prolific_completion_code: "ABC123"
 
# Workers authenticated via URL parameter
# https://yourserver.com/?PROLIFIC_PID=xxx

URLパラメータ認証

URL経由でユーザーIDを渡す：

yaml
url_user_id_param: user_id
# Access via: http://localhost:8000/?user_id=annotator1

ユーザーロール

アノテーター

データにラベル付けする一般ユーザー：

yaml
authorized_users:
  - annotator1@example.com
  - annotator2@example.com

管理者

管理ダッシュボードにアクセスできるユーザー：

yaml
admin_users:
  - admin@example.com
  - lead_researcher@university.edu

管理者ができること：

  • すべてのアノテーションの閲覧
  • 進捗のモニタリング
  • データのエクスポート
  • ユーザーの管理

タスク割り当て

ユーザーごとのインスタンス数

各ユーザーがアノテーションするアイテム数を制限：

yaml
instances_per_annotator: 100

インスタンスごとのアノテーション数

アイテムごとに複数のアノテーターを要求：

yaml
annotation_per_instance: 3

オーバーラップ設定

アノテーションの重複を制御：

yaml
# Each instance gets exactly 2 annotations
annotation_per_instance: 2
 
# Assign same instances to specific users for IAA calculation
overlap_users:
  - user1@example.com
  - user2@example.com
overlap_percentage: 20  # 20% of instances shared

品質管理

注意チェック

注意力を確認するためのテスト問題を挿入：

yaml
attention_checks:
  enabled: true
  frequency: 10  # Every 10 instances
  fail_threshold: 2  # Max failures before warning

資格テスト

メインアノテーション前にテストの合格を要求：

yaml
qualification:
  enabled: true
  test_file: qualification_test.json
  min_score: 80  # Minimum percentage to pass

セッション管理

セッションタイムアウト

非アクティブ後の自動ログアウト：

yaml
session_timeout: 3600  # seconds (1 hour)

進捗の保存

アノテーションは自動的に保存されますが、設定可能：

yaml
auto_save: true
auto_save_interval: 30  # seconds

ユーザー統計

アノテーターのパフォーマンスを追跡：

yaml
track_user_stats: true

利用可能なメトリクス：

  • 完了したアノテーション数
  • アノテーションごとの時間
  • 他者との一致度
  • 注意チェックのパフォーマンス

/adminの管理ダッシュボードからアクセスできます。

マルチアノテーターワークフロー

ラウンドロビン割り当て

インスタンスを均等に分配：

yaml
assignment_strategy: round_robin

優先度ベースの割り当て

アノテーターの専門性に基づいて割り当て：

yaml
assignment_strategy: priority
user_priorities:
  expert@example.com: high
  novice@example.com: low

プライバシー設定

ユーザーの匿名化

エクスポートでユーザーIDを非表示：

yaml
anonymize_users: true

データ保持

データの保持期間を設定：

yaml
data_retention:
  annotations: 365  # days
  user_data: 90     # days

例：研究チームのセットアップ

yaml
# Restricted to research team
allow_all_users: false
 
# Team members
authorized_users:
  - researcher1@university.edu
  - researcher2@university.edu
  - student1@university.edu
  - student2@university.edu
 
# Lead researcher is admin
admin_users:
  - researcher1@university.edu
 
# Each person annotates 200 items
instances_per_annotator: 200
 
# Each item gets 2 annotations for reliability
annotation_per_instance: 2
 
# Track performance
track_user_stats: true
 
# Auto-save every 30 seconds
auto_save: true
auto_save_interval: 30

例：クラウドソーシングのセットアップ

yaml
# Open access for crowdworkers
allow_all_users: true
 
# Prolific integration
prolific_integration: true
prolific_completion_code: "POTATO2024"
 
# Limit per worker
instances_per_annotator: 50
 
# Quality control
attention_checks:
  enabled: true
  frequency: 10
 
# Multiple annotations per item
annotation_per_instance: 3

関連資料

実装の詳細については、ソースドキュメントを参照してください。