Évaluation multiple (évaluation matricielle)

Évaluez plusieurs éléments sur la même échelle dans un format matriciel.

Annotation d'évaluation multiple (évaluation matricielle)

Le type multirate affiche plusieurs éléments dans un format matriciel où chaque élément est évalué sur la même échelle. Parfait pour évaluer plusieurs dimensions d'un seul élément.

Configuration de base

yaml

annotation_schemes:
  - name: "aspect_ratings"
    description: "Rate each aspect of the response"
    annotation_type: "multirate"
    labels:
      - name: "Accuracy"
      - name: "Clarity"
      - name: "Helpfulness"
    options:
      - name: "1"
      - name: "2"
      - name: "3"
      - name: "4"
      - name: "5"

Options de configuration

Champ	Type	Obligatoire	Description
`name`	string	Oui	Identifiant unique de l'annotation
`description`	string	Oui	Instructions affichées aux annotateurs
`annotation_type`	string	Oui	Doit être `"multirate"`
`labels`	array	Oui	Éléments à évaluer (lignes)
`options`	array	Oui	Options de l'échelle d'évaluation (colonnes)
`size`	number	Non	Alternative aux options : nombre de points d'échelle
`min_label`	string	Non	Étiquette pour l'évaluation la plus basse
`max_label`	string	Non	Étiquette pour l'évaluation la plus haute
`randomize`	boolean	Non	Randomiser l'ordre des éléments
`compact`	boolean	Non	Utiliser une mise en page compacte

Exemples

Évaluation de la qualité des réponses

yaml

- name: "quality_assessment"
  description: "Rate each aspect of the AI response"
  annotation_type: "multirate"
  labels:
    - name: "Accuracy"
      tooltip: "Is the information factually correct?"
    - name: "Completeness"
      tooltip: "Does it fully address the question?"
    - name: "Clarity"
      tooltip: "Is it easy to understand?"
    - name: "Relevance"
      tooltip: "Does it stay on topic?"
  size: 5
  min_label: "Poor"
  max_label: "Excellent"

Qualité de traduction

yaml

- name: "translation_quality"
  description: "Evaluate the translation quality"
  annotation_type: "multirate"
  labels:
    - name: "Fluency"
    - name: "Adequacy"
    - name: "Terminology"
    - name: "Style"
  options:
    - name: "1 - Unacceptable"
    - name: "2 - Poor"
    - name: "3 - Acceptable"
    - name: "4 - Good"
    - name: "5 - Excellent"

Dimensions d'évaluation de produit

yaml

- name: "product_dimensions"
  description: "Rate each aspect of the product"
  annotation_type: "multirate"
  labels:
    - name: "Build Quality"
    - name: "Value for Money"
    - name: "Ease of Use"
    - name: "Customer Support"
    - name: "Documentation"
  size: 5
  min_label: "Very Poor"
  max_label: "Excellent"
  randomize: true

Format de sortie

L'annotation multirate produit un dictionnaire associant chaque élément à son évaluation :

json

{
  "id": "item_1",
  "annotations": {
    "aspect_ratings": {
      "Accuracy": "4",
      "Clarity": "5",
      "Helpfulness": "3"
    }
  }
}

Cas d'utilisation

Évaluation de LLM : Évaluer les réponses sur plusieurs dimensions de qualité
Évaluation de traduction : Évaluer la fluidité, l'adéquation et la terminologie
Avis produits : Capturer des évaluations sur différents aspects du produit
Recherche par enquête : Questions matricielles de type Likert
Révision par les pairs : Évaluer des articles sur plusieurs critères

Bonnes pratiques

Limitez le nombre d'éléments - 3 à 7 éléments fonctionnent le mieux ; davantage provoque de la fatigue
Utilisez des échelles cohérentes - Tous les éléments devraient utiliser la même échelle d'évaluation
Ordonnez les éléments logiquement - Regroupez les dimensions liées ensemble
Fournissez des définitions claires - Utilisez des info-bulles pour expliquer chaque dimension
Envisagez la randomisation - Prévient les biais d'ordre dans les réponses