Scegliere uno schema di annotazione
Come tradurre la tua domanda di ricerca nel tipo di annotazione giusto in Potato, radio, multiselect, span, likert, slider, pairwise, best-worst, multirate, rubric e altri ancora.
Lo schema di annotazione è la forma della domanda che poni agli annotatori. Scegli chiedendoti che tipo di risposta ti serve: una categoria, più categorie, una porzione dell'elemento, una posizione su una scala o un confronto tra elementi. Potato supporta più di 50 tipi di annotazione; questa guida aiuta a restringere il campo.
Per l'elenco completo delle opzioni e delle loro impostazioni, vedi il riferimento sugli schemi di annotazione.
Una guida alla scelta
| Se ti serve… | Usa questo tipo | Esempio |
|---|---|---|
| Esattamente una categoria | radio | Sentiment: positivo / negativo / neutro |
| Più categorie insieme | multiselect | Temi presenti in un articolo |
| Una categoria da un elenco lungo | select (menu a discesa) | Paese, lingua, codice ICD |
| Una porzione del testo o dell'audio | span | Entità nominate, span di errore |
| Una posizione su una scala | likert | Accordo, fluidità, qualità |
| Un valore continuo | slider | Confidenza 0–100 |
| Il migliore tra due elementi | pairwise | Quale risposta del modello è migliore? |
| Il migliore e il peggiore di un insieme | best_worst_scaling | Ordinare traduzioni per fluidità |
| La stessa scala su molti elementi | multirate | Valutare ogni documento recuperato |
| Più criteri con pesi diversi | rubric_eval | Punteggio di un LLM in stile MT-Bench |
| Una risposta scritta | text | Giustificazione, correzione |
Un esempio pratico: etichetta singola o multipla
Se le categorie si escludono a vicenda, usa radio così gli annotatori devono sceglierne una:
annotation_schemes:
- annotation_type: radio
name: stance
description: "What stance does the post take?"
labels: [Supports, Opposes, Neutral]
sequential_key_binding: trueSe un elemento può avere più etichette insieme, usa multiselect e imposta dei limiti:
annotation_schemes:
- annotation_type: multiselect
name: topics
description: "Select every topic the article covers."
labels: [Politics, Technology, Health, Sports, Business]sequential_key_binding: true permette agli annotatori di premere i tasti numerici invece di cliccare, il che velocizza i lavori grossi.
Combinare più schemi per task più ricchi
Puoi mettere più schemi sulla stessa schermata, per esempio una categoria più una motivazione in testo libero. Abbinali a una logica condizionale, così la motivazione compare solo quando serve:
annotation_schemes:
- annotation_type: radio
name: quality
description: "Is this answer acceptable?"
labels: [Good, Bad]
- annotation_type: text
name: reason
description: "If Bad, briefly explain why."
label_requirement:
required: false