Triage

Das Triage-Annotationsschema bietet eine Prodigy-ähnliche binäre Akzeptieren/Ablehnen/Überspringen-Oberfläche, die für schnelle Datenkurationaufgaben optimiert ist. Dieses Schema ist ideal für die Filterung großer Datensätze, die Durchführung von Datenqualitätsprüfungen oder alle Aufgaben, die schnelle binäre Entscheidungen erfordern.

Überblick

Das Triage-Schema präsentiert drei große, visuell eindeutige Schaltflächen:

• Behalten (grün) - Element zur Aufnahme akzeptieren
• Verwerfen (rot) - Element ablehnen
• Unsicher (grau) - Bei Unsicherheit überspringen

Mit aktiviertem Auto-Vorwärts (Standard) können Annotatoren mithilfe von Tastaturkürzeln Hunderte von Elementen pro Stunde verarbeiten.

Schnellstart

annotation_schemes:
  - annotation_type: triage
    name: data_quality
    description: Is this data sample suitable for training?
    auto_advance: true
    show_progress: true

Konfigurationsoptionen

Beispiele

Datenqualitätsfilterung

annotation_schemes:
  - annotation_type: triage
    name: quality_filter
    description: Is this text high quality and suitable for training?
    auto_advance: true

Inhaltsmoderation

annotation_schemes:
  - annotation_type: triage
    name: content_moderation
    description: Does this content violate community guidelines?
    accept_label: "Safe"
    reject_label: "Violates"
    skip_label: "Review Later"
    auto_advance: true

Relevanzfilterung

annotation_schemes:
  - annotation_type: triage
    name: relevance
    description: Is this document relevant to the query?
    accept_label: "Relevant"
    reject_label: "Not Relevant"
    skip_label: "Partially Relevant"

Kombination mit anderen Schemata

Triage kann mit anderen Annotationstypen für sowohl Filterung als auch detaillierte Annotation kombiniert werden:

annotation_schemes:
  - annotation_type: triage
    name: include_item
    description: Should this item be included in the dataset?
    auto_advance: false  # Don't auto-advance when combined
 
  - annotation_type: radio
    name: category
    description: What category does this belong to?
    labels: ["News", "Opinion", "Review", "Other"]

Tastaturkürzel

Die Tasten 1, 2, 3 liegen auf der Tastatur nebeneinander, was eine schnelle Annotation ohne Blick auf die Tastatur ermöglicht.

Ausgabeformat

{
  "data_quality": {
    "labels": {
      "decision": "accept"
    }
  }
}

Mögliche Werte: "accept", "reject", "skip".

Bewährte Vorgehensweisen

1. Auto-Vorwärts für hohen Durchsatz verwenden - verbessert den Durchsatz bei einfachen Entscheidungen erheblich
2. Auto-Vorwärts für komplexe Entscheidungen deaktivieren - wenn Annotatoren Zeit zum Nachdenken oder für zusätzliche Annotationen brauchen
3. Klare Beschreibungen bereitstellen - Triage-Kriterien eindeutig formulieren für konsistente Annotationen
4. Bedeutungsvolle Beschriftungen verwenden - Beschriftungen an den spezifischen Anwendungsfall anpassen
5. Mit Aufmerksamkeitstests kombinieren - Bei Crowdsourcing bekannte Elemente einfügen, um die Qualität zu überprüfen

Weiterführende Lektüre

• KI-Unterstützung - KI-gestützte Annotationshinweise
• Qualitätskontrolle - Aufmerksamkeitstests und Goldstandards
• Produktivitätsfunktionen - Tastaturkürzel

Implementierungsdetails sind in der Quelldokumentation zu finden.