Triage

Das Triage-Annotationsschema bietet eine Prodigy-ähnliche binäre Akzeptieren/Ablehnen/Überspringen-Oberfläche, die für schnelle Datenkurationaufgaben optimiert ist. Dieses Schema ist ideal für die Filterung großer Datensätze, die Durchführung von Datenqualitätsprüfungen oder alle Aufgaben, die schnelle binäre Entscheidungen erfordern.

Triage in Potato

Überblick

Das Triage-Schema präsentiert drei große, visuell eindeutige Schaltflächen:

• Behalten (grün) - Element zur Aufnahme akzeptieren
• Verwerfen (rot) - Element ablehnen
• Unsicher (grau) - Bei Unsicherheit überspringen

Mit aktiviertem Auto-Vorwärts (Standard) können Annotatoren mithilfe von Tastaturkürzeln Hunderte von Elementen pro Stunde verarbeiten.

Schnellstart

annotation_schemes:
  - annotation_type: triage
    name: data_quality
    description: Is this data sample suitable for training?
    auto_advance: true
    show_progress: true

Konfigurationsoptionen

Beispiele

Datenqualitätsfilterung

annotation_schemes:
  - annotation_type: triage
    name: quality_filter
    description: Is this text high quality and suitable for training?
    auto_advance: true

Inhaltsmoderation

annotation_schemes:
  - annotation_type: triage
    name: content_moderation
    description: Does this content violate community guidelines?
    accept_label: "Safe"
    reject_label: "Violates"
    skip_label: "Review Later"
    auto_advance: true

Relevanzfilterung

annotation_schemes:
  - annotation_type: triage
    name: relevance
    description: Is this document relevant to the query?
    accept_label: "Relevant"
    reject_label: "Not Relevant"
    skip_label: "Partially Relevant"

Kombination mit anderen Schemata

Triage kann mit anderen Annotationstypen für sowohl Filterung als auch detaillierte Annotation kombiniert werden:

annotation_schemes:
  - annotation_type: triage
    name: include_item
    description: Should this item be included in the dataset?
    auto_advance: false  # Don't auto-advance when combined
 
  - annotation_type: radio
    name: category
    description: What category does this belong to?
    labels: ["News", "Opinion", "Review", "Other"]

Tastaturkürzel

Die Tasten 1, 2, 3 liegen auf der Tastatur nebeneinander, was eine schnelle Annotation ohne Blick auf die Tastatur ermöglicht.

Ausgabeformat

{
  "data_quality": {
    "labels": {
      "decision": "accept"
    }
  }
}

Mögliche Werte: "accept", "reject", "skip".

Bewährte Vorgehensweisen

1. Auto-Vorwärts für hohen Durchsatz verwenden - verbessert den Durchsatz bei einfachen Entscheidungen erheblich
2. Auto-Vorwärts für komplexe Entscheidungen deaktivieren - wenn Annotatoren Zeit zum Nachdenken oder für zusätzliche Annotationen brauchen
3. Klare Beschreibungen bereitstellen - Triage-Kriterien eindeutig formulieren für konsistente Annotationen
4. Bedeutungsvolle Beschriftungen verwenden - Beschriftungen an den spezifischen Anwendungsfall anpassen
5. Mit Aufmerksamkeitstests kombinieren - Bei Crowdsourcing bekannte Elemente einfügen, um die Qualität zu überprüfen

Weiterführende Lektüre

• KI-Unterstützung - KI-gestützte Annotationshinweise
• Qualitätskontrolle - Aufmerksamkeitstests und Goldstandards
• Produktivitätsfunktionen - Tastaturkürzel

Implementierungsdetails sind in der Quelldokumentation zu finden.