Das passende Annotationsschema wählen
Wie du von deiner Forschungsfrage zum richtigen Potato-Annotationstyp kommst: radio, multiselect, span, likert, slider, pairwise, best-worst, multirate, rubric und weitere.
Das Annotationsschema ist die Form der Frage, die du den Annotierenden stellst. Wähle es danach, welche Art von Antwort du brauchst: eine Kategorie, mehrere Kategorien, einen Ausschnitt des Elements, eine Position auf einer Skala oder einen Vergleich zwischen Elementen. Potato unterstützt über 50 Annotationstypen; dieser Leitfaden grenzt sie ein.
Die vollständige Liste der Optionen und ihrer Einstellungen steht in der Referenz zu Annotationsschemata.
Eine Entscheidungshilfe
| Wenn du brauchst … | Nimm diesen Typ | Beispiel |
|---|---|---|
| Genau eine Kategorie | radio | Stimmung: positiv / negativ / neutral |
| Mehrere Kategorien gleichzeitig | multiselect | Themen in einem Artikel |
| Eine Kategorie aus einer langen Liste | select (Dropdown) | Land, Sprache, ICD-Code |
| Einen Ausschnitt im Text oder Audio | span | Benannte Entitäten, Fehlerspans |
| Eine Position auf einer Skala | likert | Zustimmung, Flüssigkeit, Qualität |
| Einen stufenlosen Wert | slider | Konfidenz 0–100 |
| Das bessere von zwei Elementen | pairwise | Welche Modellantwort ist besser? |
| Das beste und das schlechteste aus einer Menge | best_worst_scaling | Übersetzungen nach Flüssigkeit ordnen |
| Dieselbe Skala über viele Elemente | multirate | Jedes gefundene Dokument bewerten |
| Mehrere gewichtete Kriterien | rubric_eval | LLM-Bewertung nach Art von MT-Bench |
| Eine geschriebene Antwort | text | Begründung, Korrektur |
Beispiel: ein Label oder mehrere
Schließen sich die Kategorien gegenseitig aus, nimm radio, damit die Annotierenden eine auswählen müssen:
annotation_schemes:
- annotation_type: radio
name: stance
description: "What stance does the post take?"
labels: [Supports, Opposes, Neutral]
sequential_key_binding: trueKann ein Element mehrere Labels gleichzeitig tragen, nimm multiselect und setze Grenzen:
annotation_schemes:
- annotation_type: multiselect
name: topics
description: "Select every topic the article covers."
labels: [Politics, Technology, Health, Sports, Business]sequential_key_binding: true lässt Annotierende Zifferntasten drücken statt zu klicken, was große Aufträge beschleunigt.
Schemata für reichere Aufgaben kombinieren
Du kannst mehrere Schemata auf einem Bildschirm stapeln, etwa eine Kategorie plus eine Begründung als Freitext. Kombiniere sie mit bedingter Logik, damit die Begründung nur erscheint, wenn sie gebraucht wird:
annotation_schemes:
- annotation_type: radio
name: quality
description: "Is this answer acceptable?"
labels: [Good, Bad]
- annotation_type: text
name: reason
description: "If Bad, briefly explain why."
label_requirement:
required: false