Skip to content

La comparaison de modèles par paires

Comment comparer deux modèles ou deux réponses face à face avec des annotateurs humains, y compris la comparaison multidimensionnelle et les contrôles de biais, avec Potato.

Pour décider lequel de deux modèles est le meilleur, montrez aux annotateurs une invite et les deux réponses, et demandez-leur laquelle l'emporte. Agrégés sur de nombreuses invites, ces jugements face à face classent les modèles de façon plus fiable que les scores absolus. C'est la méthode qui sous-tend les classements publics de modèles fondés sur les votes humains.

Il s'agit de la comparaison par paires appliquée aux sorties des modèles ; de nombreuses comparaisons peuvent être converties en un classement unique à l'aide d'un modèle Elo ou Bradley–Terry.

Face à face de base

yaml
annotation_schemes:
  - annotation_type: pairwise
    name: which_better
    description: "Which response is better overall?"
    mode: binary
    allow_tie: true

Comparaison multidimensionnelle

Un seul « meilleur » masque les compromis : le modèle A est plus exact, mais le modèle B est plus clair. Comparez sur plusieurs dimensions à la fois :

yaml
annotation_schemes:
  - annotation_type: pairwise
    name: comparison
    description: "Compare the two responses on each dimension."
    mode: multi_dimension
    dimensions: [accuracy, helpfulness, safety]
    require_justification: true

Exiger une justification rend les données vérifiables et fait ressortir les cas où les annotateurs ont récompensé ce qu'il ne fallait pas.

Contrôler le biais

Les données face à face ne valent que ce que valent leurs contrôles de biais :

  • Biais de position : aléatorisez quel modèle est affiché comme « A » ; sinon, les annotateurs favorisent un côté.
  • Biais de longueur/style : les annotateurs préfèrent souvent le texte plus long ou plus assuré, indépendamment de sa qualité. Nommez-le dans les consignes.
  • Verbosité ≠ qualité : envisagez de relever la longueur pour vérifier si c'est elle qui dicte les victoires.
  • Accord : recueillez du chevauchement et suivez l'accord inter-annotateurs.

Comparaison vs. grille d'évaluation

Utilisez la comparaison par paires lorsque vous avez besoin d'un classement et visez un accord élevé. Utilisez une grille d'évaluation lorsque vous avez besoin d'un profil absolu, dimension par dimension, de chaque modèle. Beaucoup d'évaluations mènent les deux.

Pour aller plus loin