Constant Sum
Constant-Sum-Annotation in Potato konfigurieren: Punkte aus einem festen Budget auf Kategorien verteilen, wahlweise über Zahlenfelder oder Schieberegler.
Mit dem Annotationsschema Constant Sum verteilen Annotatoren eine feste Punktzahl auf mehrere Kategorien. Anders als Soft Labels, die gekoppelte Schieberegler verwenden, unterstützt Constant Sum sowohl direkte Zahleneingaben als auch Schieberegler und ist für Aufgaben gedacht, in denen Annotatoren innerhalb eines festen Budgets explizit abwägen müssen.
Constant Sum in Potato
Überblick
Constant-Sum-Aufgaben sind in der Umfrageforschung und bei der Präferenzerhebung verbreitet. Annotatoren bekommen einen festen Vorrat an Punkten (etwa 100) und müssen ihn auf die Elemente verteilen, um relative Wichtigkeit, Präferenz oder Anteile auszudrücken. Die Oberfläche erzwingt, dass die Verteilung immer die konfigurierte Summe ergibt.
Schnellstart
annotation_schemes:
- annotation_type: constant_sum
name: feature_importance
description: Distribute 100 points across features based on their importance.
labels: ["Accuracy", "Speed", "Ease of Use", "Cost"]
total_points: 100Konfigurationsoptionen
| Feld | Typ | Standard | Beschreibung |
|---|---|---|---|
annotation_type | string | Pflicht | Muss "constant_sum" sein |
name | string | Pflicht | Eindeutige Kennung dieses Schemas |
description | string | Pflicht | Anweisungen, die den Annotatoren angezeigt werden |
labels | array | Pflicht | Liste der Elemente, auf die Punkte verteilt werden (mindestens 2) |
total_points | integer | 100 | Feste Summe, die die Verteilung ergeben muss |
min_per_item | integer | 0 | Mindestpunktzahl, die jedes Element bekommen muss |
input_type | string | "number" | Eingabeart: "number" für Textfelder oder "slider" für Schieberegler |
label_requirement.required | boolean | false | Ob die Annotation vor dem Weitergehen ausgefüllt sein muss |
Beispiele
Feature-Priorisierung
annotation_schemes:
- annotation_type: constant_sum
name: feature_priority
description: Allocate 100 points to indicate which features matter most to you.
labels: ["Performance", "Reliability", "Usability", "Security"]
total_points: 100
input_type: numberBudgetverteilung
annotation_schemes:
- annotation_type: constant_sum
name: budget_allocation
description: How would you distribute a $1000 budget across these areas?
labels: ["Marketing", "Engineering", "Design", "Research"]
total_points: 1000
input_type: slider
min_per_item: 50Zeitverteilung
annotation_schemes:
- annotation_type: constant_sum
name: time_spent
description: Distribute 24 points (hours) across daily activities.
labels: ["Work", "Sleep", "Exercise", "Leisure", "Commute", "Other"]
total_points: 24
min_per_item: 0Einfacher Vergleich mit Schiebereglern
annotation_schemes:
- annotation_type: constant_sum
name: text_comparison
description: Distribute 10 points between the two texts based on quality.
labels: ["Text A", "Text B"]
total_points: 10
input_type: sliderAusgabeformat
{
"feature_importance": {
"labels": {
"Accuracy": 40,
"Speed": 25,
"Ease of Use": 20,
"Cost": 15
}
}
}Die Werte ergeben immer die konfigurierte Summe total_points.
Praxistipps
- Eine eingängige Summe wählen – 100 funktioniert gut für Prozentangaben; kleinere Summen (10, 20) sind bei schnellen Aufgaben leichter zu handhaben
- Zahlenfelder für Genauigkeit – wenn exakte Werte zählen, sind Zahlenfelder präziser als Schieberegler
- Schieberegler für Tempo – für ungefähre Verteilungen geht es mit Schiebereglern schneller
- Zahl der Elemente begrenzen – ab 7 bis 8 Elementen wird die Punktverteilung kognitiv anstrengend
- Mindestverteilungen bedenken –
min_per_itemnutzen, wenn jede Kategorie mindestens ein paar Punkte bekommen soll - Klaren Kontext geben – erklären, wofür die Punkte stehen (Wichtigkeit, Zeit, Geld usw.)
Weiterführende Informationen
- Soft Label – Wahrscheinlichkeitsverteilung mit gekoppelten Schiebereglern
- Best-Worst-Scaling – Annotation relativer Präferenzen
- Likert-Skalen – ordinale Bewertungsskalen
Implementierungsdetails stehen in der Quelldokumentation.