Produktivitätsfunktionen

Potato enthält mehrere Funktionen, die Annotatoren helfen, schneller und genauer zu arbeiten, darunter Tastaturkürzel, Tooltips, Schlüsselwort-Hervorhebungen und Label-Vorschläge.

Tastaturkürzel

Sequenzielle Tastenbelegungen

Für Annotationsschemata mit höchstens 10 Optionen können Tastenbelegungen standardmäßig sequenziell zugewiesen werden:

annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [positive, neutral, negative]
    sequential_key_binding: true

Die erste Option entspricht der Taste „1", die zweite „2" usw.

Benutzerdefinierte Tastenbelegungen

Für mehr Kontrolle können Sie benutzerdefinierte Tastenbelegungen für jedes Label konfigurieren:

annotation_schemes:
  - annotation_type: multiselect
    labels:
      - name: "Option 1"
        key_value: "1"
      - name: "Option 2"
        key_value: "2"
      - name: "Skip"
        key_value: "s"

Admin-Schlüsselwort-Hervorhebungen

Helfen Sie Annotatoren, relevante Wörter und Phrasen mit farbigen Hervorhebungen im Text zu identifizieren.

Konfiguration

keyword_highlights_file: data/keywords.tsv

TSV-Dateiformat

Die Schlüsselwort-Datei sollte tabulatorgetrennt mit drei Spalten sein:

Word	Label	Schema
love	positive	sentiment
hate	negative	sentiment
excel*	positive	sentiment
disappoint*	negative	sentiment

Abgleichverhalten

• Groß-/Kleinschreibung ignoriert: „Love" findet „love", „LOVE", „Love"
• Wortgrenzen: „love" findet „love", aber nicht „lovely" (außer bei Wildcards)
• Wildcards: * für Präfix-/Suffix-Abgleich verwenden:
  • excel* findet „excellent", „excels", „excel"
  • *happy findet „unhappy", „happy"

Farben konfigurieren

Farben werden im Abschnitt ui.spans.span_colors konfiguriert:

ui:
  spans:
    span_colors:
      sentiment:
        positive: "(34, 197, 94)"    # Green
        negative: "(239, 68, 68)"    # Red
        neutral: "(156, 163, 175)"   # Gray

Randomisierungseinstellungen

Für Forschungszwecke können Sie die Randomisierung von Schlüsselwort-Hervorhebungen konfigurieren, um zu verhindern, dass Annotatoren sich ausschließlich auf Hervorhebungen verlassen:

keyword_highlights_file: data/keywords.tsv
 
keyword_highlight_settings:
  keyword_probability: 1.0       # Show 100% of keywords (0.0-1.0)
  random_word_probability: 0.05  # Highlight 5% random words as distractors
  random_word_label: "distractor"
  random_word_schema: "keyword"

Schlüsselfunktionen:

• Persistenz: Hervorgehobene Wörter werden pro Nutzer+Instanz gecacht
• Deterministische Randomisierung: Verwendet Hash aus Benutzername + Instanz-ID als Seed
• Verhaltens-Tracking: Erfasst, welche Wörter hervorgehoben wurden

Tooltips

Detaillierte Erklärungen für jede Antwortoption hinzufügen:

Nur-Text-Tooltips

annotation_schemes:
  - annotation_type: multiselect
    name: "Question"
    labels:
      - name: "Label 1"
        tooltip: "This option means..."

HTML-Tooltips

Für formatierte Tooltips auf eine HTML-Datei verweisen:

annotation_schemes:
  - annotation_type: multiselect
    name: "Question"
    labels:
      - name: "Label 1"
        tooltip_file: "config/tooltips/label1_tooltip.html"

Label-Vorschläge

Vorschläge anzeigen, um Annotatoren in zwei Modi zu unterstützen:

• highlight: Vorgeschlagene Labels farblich hervorheben
• prefill: Vorgeschlagene Labels automatisch vorauswählen

Konfiguration

annotation_schemes:
  - annotation_type: multiselect
    name: "sentiment"
    description: "What sentiment does the text express?"
    labels: [positive, neutral, negative]
    label_suggestions: "highlight"  # or "prefill"
 
  - annotation_type: text
    name: "explanation"
    description: "Why do you think so?"
    multiline: true
    rows: 2
    label_suggestions: "prefill"

Datenformat

Vorschläge in Ihren Datenelementen einschließen:

{
  "id": "1",
  "text": "Good Job!",
  "label_suggestions": {
    "sentiment": "positive",
    "explanation": "Because I think "
  }
}

Automatische Aufgabenzuweisung

Annotationsaufgaben einfach verschiedenen Annotatoren zuweisen:

automatic_assignment:
  on: true
  output_filename: "task_assignment.json"
  sampling_strategy: "random"
  labels_per_instance: 10
  instance_per_annotator: 50
  test_question_per_annotator: 2

Active-Learning-Integration

Produktivitätsfunktionen integrieren sich mit Active Learning, um die informativsten Instanzen zu priorisieren:

active_learning:
  enabled: true
  schema_names: ["sentiment"]
  min_annotations_per_instance: 2
  min_instances_for_training: 20
  update_frequency: 10

Bewährte Vorgehensweisen

1. Tastaturkürzel für hochvolumige Aufgaben verwenden – Sie beschleunigen die Annotation erheblich
2. Tooltips für komplexe oder mehrdeutige Labels hinzufügen – Reduzieren Inkonsistenz
3. Schlüsselwort-Hervorhebungen verwenden, um Aufmerksamkeit auf relevante Texte zu lenken, aber Randomisierung für Forschungsvalidität beachten
4. Vorausfüllen von Vorschlägen sorgfältig einsetzen – können Annotatoren beeinflussen, wenn übermäßig genutzt

Weiterführende Informationen

• UI-Konfiguration – Oberfläche anpassen
• Active Learning – ML-basierte Priorisierung
• Aufgabenzuweisung – Zuweisungsstrategien konfigurieren

Implementierungsdetails finden Sie in der Quelldokumentation.