Évaluation multiple (évaluation matricielle)

Évaluez plusieurs éléments sur la même échelle dans un format matriciel.

Le type multirate affiche plusieurs éléments dans un format matriciel où chaque élément est évalué sur la même échelle. Parfait pour évaluer plusieurs dimensions d'un seul élément.

Configuration de base

yaml

annotation_schemes:
  - name: "aspect_ratings"

Options de configuration

Champ	Type	Obligatoire	Description
`name`	string	Oui	Identifiant unique de l'annotation
`description`	string	Oui	Instructions affichées aux annotateurs
`annotation_type`	string	Oui	Doit être `"multirate"`
`labels`	array	Oui	Éléments à évaluer (lignes)
`options`	array	Oui	Options de l'échelle d'évaluation (colonnes)
`size`	number	Non	Alternative aux options : nombre de points d'échelle
`min_label`	string	Non	Étiquette pour l'évaluation la plus basse
`max_label`	string	Non	Étiquette pour l'évaluation la plus haute
`randomize`	boolean	Non	Randomiser l'ordre des éléments
`compact`	boolean	Non	Utiliser une mise en page compacte

Exemples

Évaluation de la qualité des réponses

yaml

- name: "quality_assessment"

Qualité de traduction

yaml

- name: "translation_quality"

Dimensions d'évaluation de produit

yaml

- name: "product_dimensions"

Format de sortie

L'annotation multirate produit un dictionnaire associant chaque élément à son évaluation :

json

{
  "id": "item_1",
  "annotations": {
    "aspect_ratings": {
      "Accuracy": "4",
      "Clarity": "5",
      "Helpfulness": "3"
    }
  }
}

Cas d'utilisation

Évaluation de LLM : Évaluer les réponses sur plusieurs dimensions de qualité
Évaluation de traduction : Évaluer la fluidité, l'adéquation et la terminologie
Avis produits : Capturer des évaluations sur différents aspects du produit
Recherche par enquête : Questions matricielles de type Likert
Révision par les pairs : Évaluer des articles sur plusieurs critères

Bonnes pratiques

Limitez le nombre d'éléments - 3 à 7 éléments fonctionnent le mieux ; davantage provoque de la fatigue
Utilisez des échelles cohérentes - Tous les éléments devraient utiliser la même échelle d'évaluation
Ordonnez les éléments logiquement - Regroupez les dimensions liées ensemble
Fournissez des définitions claires - Utilisez des info-bulles pour expliquer chaque dimension
Envisagez la randomisation - Prévient les biais d'ordre dans les réponses