사용자 관리

Potato에서 주석 작업자를 관리합니다 — 사용자 목록, 비밀번호, 역할, 작업 할당, 중복 설정, 프로젝트용 OAuth 또는 SSO 인증을 구성합니다.

Potato는 개방형 접근부터 제한된 인증까지 유연한 사용자 관리 옵션을 제공합니다.

접근 모드

개방형 접근

누구나 로그인 없이 주석을 작성할 수 있도록 허용합니다.

yaml

allow_all_users: true

제한된 접근

특정 사용자로 제한합니다.

yaml

allow_all_users: false
authorized_users:
  - alice@example.com
  - bob@example.com
  - researcher@university.edu

인증

이메일 기반 로그인

사용자는 이메일을 입력하여 주석 인터페이스에 접근합니다.

yaml

allow_all_users: false
authorized_users:
  - user1@example.com
  - user2@example.com

크라우드소싱 연동

Prolific 또는 MTurk 작업자용:

yaml

# Prolific integration
allow_all_users: true
prolific_integration: true
prolific_completion_code: "ABC123"
 
# Workers authenticated via URL parameter
# https://yourserver.com/?PROLIFIC_PID=xxx

URL 매개변수 인증

URL을 통해 사용자 ID를 전달합니다.

yaml

url_user_id_param: user_id
# Access via: http://localhost:8000/?user_id=annotator1

사용자 역할

주석 작업자

데이터에 레이블을 지정하는 일반 사용자입니다.

yaml

authorized_users:
  - annotator1@example.com
  - annotator2@example.com

관리자

관리자 대시보드에 접근할 수 있는 사용자입니다.

yaml

admin_users:
  - admin@example.com
  - lead_researcher@university.edu

관리자는 다음을 할 수 있습니다.

모든 주석 보기
진행 상황 모니터링
데이터 내보내기
사용자 관리

작업 할당

사용자당 인스턴스 수

각 사용자가 주석을 작성하는 항목 수를 제한합니다.

yaml

instances_per_annotator: 100

인스턴스당 주석 수

항목당 여러 명의 주석 작업자를 요구합니다.

yaml

annotation_per_instance: 3

중복 설정

주석 중복을 제어합니다.

yaml

# Each instance gets exactly 2 annotations
annotation_per_instance: 2
 
# Assign same instances to specific users for IAA calculation
overlap_users:
  - user1@example.com
  - user2@example.com
overlap_percentage: 20  # 20% of instances shared

품질 관리

주의 확인

주의력을 확인하기 위한 테스트 질문을 삽입합니다.

yaml

attention_checks:
  enabled: true
  frequency: 10  # Every 10 instances
  fail_threshold: 2  # Max failures before warning

자격 테스트

본격적인 주석 작업 전에 테스트 통과를 요구합니다.

yaml

qualification:
  enabled: true
  test_file: qualification_test.json
  min_score: 80  # Minimum percentage to pass

세션 관리

세션 시간 초과

비활성 상태가 지속되면 자동으로 로그아웃합니다.

yaml

session_timeout: 3600  # seconds (1 hour)

진행 상황 저장

주석은 자동으로 저장되지만 다음을 구성할 수 있습니다.

yaml

auto_save: true
auto_save_interval: 30  # seconds

사용자 통계

주석 작업자의 성과를 추적합니다.

yaml

track_user_stats: true

사용 가능한 지표:

완료한 주석 수
주석당 소요 시간
다른 사람과의 일치도
주의 확인 성과

/admin에서 관리자 대시보드를 통해 접근합니다.

다중 주석 작업자 워크플로

라운드 로빈 할당

인스턴스를 균등하게 분배합니다.

yaml

assignment_strategy: round_robin

우선순위 기반 할당

주석 작업자의 전문성을 기준으로 할당합니다.

yaml

assignment_strategy: priority
user_priorities:
  expert@example.com: high
  novice@example.com: low

개인정보 설정

사용자 익명화

내보내기에서 사용자 신원을 숨깁니다.

yaml

anonymize_users: true

데이터 보존

데이터를 얼마나 오래 보관할지 구성합니다.

yaml

data_retention:
  annotations: 365  # days
  user_data: 90     # days

예시: 연구팀 설정

yaml

# Restricted to research team
allow_all_users: false
 
# Team members
authorized_users:
  - researcher1@university.edu
  - researcher2@university.edu
  - student1@university.edu
  - student2@university.edu
 
# Lead researcher is admin
admin_users:
  - researcher1@university.edu
 
# Each person annotates 200 items
instances_per_annotator: 200
 
# Each item gets 2 annotations for reliability
annotation_per_instance: 2
 
# Track performance
track_user_stats: true
 
# Auto-save every 30 seconds
auto_save: true
auto_save_interval: 30

예시: 크라우드소싱 설정

yaml

# Open access for crowdworkers
allow_all_users: true
 
# Prolific integration
prolific_integration: true
prolific_completion_code: "POTATO2024"
 
# Limit per worker
instances_per_annotator: 50
 
# Quality control
attention_checks:
  enabled: true
  frequency: 10
 
# Multiple annotations per item
annotation_per_instance: 3

추가 자료

비밀번호 없는 로그인 - 간소화된 인증
작업 할당 - 주석 분배 제어
크라우드소싱 연동 - Prolific 및 MTurk 설정

구현 세부 정보는 소스 문서를 참조하세요.