Choisir un schéma d'annotation
Comment relier votre question de recherche au bon type d'annotation Potato : radio, multiselect, span, likert, slider, pairwise, best-worst, multirate, rubric, et plus encore.
Le schéma d'annotation, c'est la forme de la question que vous posez aux annotateurs. Choisissez-le selon le type de réponse dont vous avez besoin : une catégorie, plusieurs catégories, une région de l'élément, une position sur une échelle ou une comparaison entre éléments. Potato prend en charge plus de 30 types d'annotation ; ce guide vous aide à les départager.
Pour la liste complète des options et de leurs réglages, voir la référence des schémas d'annotation.
Un guide de décision
| Si vous avez besoin… | Utilisez ce type | Exemple |
|---|---|---|
| Exactement une catégorie | radio | Sentiment : positif / négatif / neutre |
| Plusieurs catégories à la fois | multiselect | Thèmes présents dans un article |
| Une catégorie dans une longue liste | select (menu déroulant) | Pays, langue, code ICD |
| Une région à l'intérieur du texte/de l'audio | span | Entités nommées, segments d'erreur |
| Une position sur une échelle | likert | Accord, fluidité, qualité |
| Une valeur continue | slider | Confiance 0–100 |
| Le meilleur de deux éléments | pairwise | Quelle réponse du modèle est la meilleure ? |
| Le meilleur et le pire d'un ensemble | best_worst_scaling | Classer des traductions par fluidité |
| La même échelle sur de nombreux éléments | multirate | Noter chaque document récupéré |
| Plusieurs critères pondérés | rubric_eval | Notation par LLM façon MT-Bench |
| Une réponse rédigée | text | Justification, correction |
Exemple concret : étiquette unique ou multiple
Si les catégories sont mutuellement exclusives, utilisez radio pour que les annotateurs doivent en choisir une seule :
annotation_schemes:
- annotation_type: radio
name: stance
description: "What stance does the post take?"
labels: [Supports, Opposes, Neutral]
sequential_key_binding: trueSi un élément peut porter plusieurs étiquettes à la fois, utilisez multiselect et fixez des limites :
annotation_schemes:
- annotation_type: multiselect
name: topics
description: "Select every topic the article covers."
labels: [Politics, Technology, Health, Sports, Business]
min_selections: 1
max_selections: 3sequential_key_binding: true permet aux annotateurs d'appuyer sur les touches numériques au lieu de cliquer, ce qui accélère les gros travaux.
Combiner les schémas pour des tâches plus riches
Vous pouvez empiler plusieurs schémas sur un même écran, par exemple une catégorie assortie d'une justification en texte libre. Associez-les à une logique conditionnelle pour que la justification n'apparaisse que lorsqu'elle est nécessaire :
annotation_schemes:
- annotation_type: radio
name: quality
description: "Is this answer acceptable?"
labels: [Good, Bad]
- annotation_type: text
name: reason
description: "If Bad, briefly explain why."
label_requirement:
required: false