Skip to content

L'évaluation de LLM à base de grilles de critères

Comment évaluer les sorties d'un LLM selon plusieurs critères pondérés (façon MT-Bench) à l'aide du type d'évaluation par grille de critères de Potato.

Une grille de critères décompose un jugement vague (« est-ce une bonne réponse ? ») en critères précis et notés, utilité, exactitude, exhaustivité, ton, sûreté, chacun évalué sur une échelle. Elle rend l'évaluation d'un LLM reproductible et révèle pourquoi une réponse l'emporte sur une autre. C'est la structure qui sous-tend des bancs d'essai comme MT-Bench.

Une grille de critères (rubric) transforme une qualité subjective en une grille de critères définis et de points d'échelle, ce qui augmente l'accord et rend les résultats interprétables.

Quand utiliser une grille de critères

  • La sortie est assez riche pour qu'une note unique fasse perdre de l'information.
  • Vous avez besoin de savoir quelle dimension est faible (exactitude ou ton), et pas seulement un verdict global.
  • Vous voulez des critères sur lesquels les parties prenantes s'accordent à l'avance.

S'il vous faut seulement savoir « laquelle est meilleure », une comparaison par paires revient moins cher. Les grilles de critères brillent lorsqu'il vous faut un profil absolu et multidimensionnel.

La configurer dans Potato

yaml
annotation_schemes:
  - annotation_type: rubric_eval
    name: answer_quality
    description: "Rate the answer on each criterion."
    scale_points: 5
    criteria:
      - {name: Helpfulness, description: "Does it address the user's actual need?"}
      - {name: Accuracy,    description: "Is it factually correct?"}
      - {name: Completeness, description: "Does it cover the important points?"}
      - {name: Tone,        description: "Is the style appropriate?"}

Potato l'affiche sous forme de grille : les critères sur le côté, les points d'échelle en travers. Les annotateurs notent chaque case.

Rédiger de bons critères

  • Rendez-les indépendants. Des critères qui se recouvrent (« utile » et « pratique ») sont notés ensemble et ajoutent du bruit.
  • Ancrez l'échelle. Décrivez ce à quoi ressemblent un 1 et un 5 pour chaque critère, pas seulement les extrémités dans l'ensemble.
  • Restez bref. Quatre à six critères constituent en général le bon dosage ; les grilles longues fatiguent les annotateurs et abaissent l'accord.

Grilles de critères et LLM-juge

La même grille que vous donnez aux humains peut servir d'invite à un « LLM juge » pour une pré-notation peu coûteuse, que les humains vérifient ensuite, exactement comme dans la préannotation par LLM. Conservez un échantillon noté par des humains pour contrôler le juge, et surveillez les biais propres au juge (longueur, mise en forme, préférence pour soi-même).

Pour aller plus loin