Assegnazione dei Compiti

Potato fornisce strategie flessibili di assegnazione dei compiti per controllare come le istanze di annotazione vengono distribuite agli annotatori.

Panoramica

L'assegnazione dei compiti controlla:

• Quali elementi vede ogni annotatore
• Quanti elementi completa ogni annotatore
• Quante annotazioni riceve ogni elemento
• L'ordine in cui vengono presentati gli elementi

Opzioni di Configurazione Chiave

Strategie di Assegnazione

Assegnazione Casuale

Assegna gli elementi casualmente agli annotatori, garantendo una distribuzione imparziale.

assignment_strategy: random
max_annotations_per_item: 3

Ideale per: Compiti di annotazione generali in cui l'ordine non è importante.

Assegnazione in Ordine Fisso

Assegna gli elementi nell'ordine in cui appaiono nel dataset.

assignment_strategy: fixed_order
max_annotations_per_item: 2

Ideale per: Compiti in cui gli annotatori devono vedere gli elementi in una sequenza specifica.

Assegnazione Meno Annotato

Dà priorità agli elementi con il minor numero di annotazioni esistenti, garantendo una distribuzione uniforme.

assignment_strategy: least_annotated
max_annotations_per_item: 5

Ideale per: Garantire che tutti gli elementi ricevano una copertura adeguata prima che qualsiasi elemento riceva annotazioni eccessive.

Assegnazione Massima Diversità

Dà priorità agli elementi con il più alto disaccordo tra le annotazioni esistenti.

assignment_strategy: max_diversity
max_annotations_per_item: 4

Ideale per: Controllo della qualità e risoluzione degli elementi ambigui.

Assegnazione con Apprendimento Attivo

Usa il machine learning per dare priorità alle istanze incerte.

assignment_strategy: active_learning
 
active_learning:
  enabled: true
  schema_names: ["sentiment"]
  min_annotations_per_instance: 2
  min_instances_for_training: 20
  update_frequency: 10

Vedi Apprendimento Attivo per la configurazione completa.

Configurazione

Configurazione Moderna (Consigliata)

# Selezione della strategia
assignment_strategy: random
 
# Limiti
max_annotations_per_user: 10    # -1 per illimitato
max_annotations_per_item: 3     # -1 per illimitato
 
# Opzionale: configurazione annidata
assignment:
  strategy: random
  max_annotations_per_item: 3
  random_seed: 1234

Configurazione Legacy

La vecchia configurazione automatic_assignment è ancora supportata:

automatic_assignment:
  on: true
  output_filename: task_assignment.json
  sampling_strategy: random    # 'random' o 'ordered'
  labels_per_instance: 3       # Annotazioni per elemento
  instance_per_annotator: 5    # Elementi per annotatore
  test_question_per_annotator: 0

Domande di Test

Inserisci domande di verifica dell'attenzione nella coda di annotazione:

Definizione delle Domande di Test

Aggiungi _testing all'ID dell'istanza nel tuo file di dati:

text,id
"This is test question 1",0_testing
"Regular item",dkjfd

O in JSON:

[
  {"id": "0_testing", "text": "This is a test question"},
  {"id": "regular_001", "text": "Normal annotation item"}
]

Configurazione

automatic_assignment:
  on: true
  test_question_per_annotator: 2  # Inserisci 2 domande di test per annotatore

Configurazioni di Esempio

Assegnazione Casuale di Base

annotation_task_name: "Sentiment Analysis"
assignment_strategy: random
max_annotations_per_user: 20
max_annotations_per_item: 3

Assegnazione Orientata alla Qualità

annotation_task_name: "Quality Annotation"
assignment_strategy: max_diversity
max_annotations_per_item: 5
max_annotations_per_user: 50

Configurazione per Crowdsourcing

annotation_task_name: "Crowdsourced Task"
assignment_strategy: random
max_annotations_per_user: 10
max_annotations_per_item: 3
 
# Impostazioni crowdsourcing
hide_navbar: true
jumping_to_id_disabled: true
 
login:
  type: url_direct
  url_argument: workerId

Configurazione con Apprendimento Attivo

assignment_strategy: active_learning
 
active_learning:
  enabled: true
  schema_names: ["sentiment", "topic"]
  min_annotations_per_instance: 2
  min_instances_for_training: 20
  update_frequency: 10
  classifier_name: "sklearn.linear_model.LogisticRegression"
  vectorizer_name: "sklearn.feature_extraction.text.TfidfVectorizer"

Integrazione con la Dashboard di Amministrazione

Monitora e regola le impostazioni di assegnazione tramite la Dashboard di Amministrazione:

1. Naviga su /admin
2. Vai alla scheda Configurazione
3. Modifica:
   • Annotazioni Massime per Utente
   • Annotazioni Massime per Elemento
   • Strategia di Assegnazione

Le modifiche hanno effetto immediato senza riavvio del server.

Ulteriori Letture

• Apprendimento Attivo - Prioritizzazione dell'assegnazione basata su ML
• Controllo della Qualità - Verifiche di attenzione e standard gold
• Assegnazione per Categoria - Instrada gli elementi per competenza dell'annotatore
• Integrazione Crowdsourcing - Integrazione MTurk e Prolific

Per i dettagli di implementazione, consulta la documentazione sorgente.