Skip to content

Comparaison par paires et échelle meilleur–pire

Quand utiliser des jugements comparatifs plutôt que des notations, la comparaison par paires et l'échelle meilleur–pire (MaxDiff), et comment les configurer dans Potato.

Les gens donnent mal des scores absolus stables, mais comparent bien. L'annotation comparative tire parti de cela : au lieu de « notez ceci de 1 à 5 », on demande « lequel est meilleur, A ou B ? ». Les deux formes principales sont la comparaison par paires et l'échelle meilleur–pire. Elles constituent l'ossature des données de préférence de l'IA moderne.

Voir Pairwise comparison et MaxDiff pour le contexte.

Comparaison par paires

Présentez deux éléments et demandez lequel l'emporte. C'est simple, à forte concordance, et c'est le format utilisé pour recueillir des données de préférence humaine pour l'apprentissage par renforcement à partir de retours humains.

yaml
annotation_schemes:
  - annotation_type: pairwise
    name: preference
    description: "Which response better answers the question?"
    mode: binary
    allow_tie: true
    sequential_key_binding: true

Autoriser les égalités évite que les annotateurs inventent une différence là où il n'y en a pas. Pour capter à quel point l'un est meilleur, passez mode à une échelle (par exemple « A bien meilleur … B bien meilleur »). La vitrine de préférence par paires en est un exemple fonctionnel.

De nombreux jugements par paires peuvent être convertis en un classement unique à l'aide d'un modèle comme le système de classement Elo ou le modèle de Bradley–Terry.

Échelle meilleur–pire (MaxDiff)

Présentez un petit ensemble (souvent quatre éléments) et demandez le meilleur et le pire. Chaque jugement est plus informatif qu'un simple vote par paires, car il fixe d'un coup les deux extrémités de l'ensemble.

yaml
annotation_schemes:
  - annotation_type: best_worst_scaling
    name: fluency
    description: "Pick the most and least fluent translation."
    tuple_size: 4
    best_label: "Most fluent"
    worst_label: "Least fluent"

L'échelle meilleur–pire produit des scores fiables, proches de l'intervalle, à partir de choix simples, et sert largement à construire des classements calibrés à partir de nombreux annotateurs.

Quand préférer les comparaisons aux notations

  • Votre construit est difficile à ancrer de façon absolue (humour, utilité, qualité esthétique).
  • Vous avez besoin d'une forte concordance et votre échelle de Likert est bruitée.
  • Vous construisez des données de préférence pour entraîner ou aligner un modèle.

Le coût, c'est que vous obtenez des informations relatives ; il vous faudra peut-être un modèle (Elo, Bradley–Terry) pour récupérer des scores absolus.

Pour aller plus loin