Skip to content

マルチレート(マトリックス評価)

マトリックス形式で同じスケールを使用して複数のアイテムを評価。

マルチレートタイプは、各アイテムが同じスケールで評価されるマトリックス形式で複数のアイテムを表示します。単一アイテムの複数の次元を評価するのに最適です。

基本設定

yaml
annotation_schemes:
  - name: "aspect_ratings"

設定オプション

フィールドタイプ必須説明
namestringはいアノテーションの一意識別子
descriptionstringはいアノテーターに表示される指示
annotation_typestringはい"multirate"でなければならない
labelsarrayはい評価されるアイテム(行)
optionsarrayはい評価スケールオプション(列)
sizenumberいいえoptionsの代替:スケールポイント数
min_labelstringいいえ最低評価のラベル
max_labelstringいいえ最高評価のラベル
randomizebooleanいいえアイテム順序をランダム化
compactbooleanいいえコンパクトレイアウトを使用

応答品質評価

yaml
- name: "quality_assessment"

翻訳品質

yaml
- name: "translation_quality"

製品レビューの次元

yaml
- name: "product_dimensions"

出力形式

マルチレートアノテーションは各アイテムをその評価にマッピングする辞書を出力します:

json
{
  "id": "item_1",
  "annotations": {
    "aspect_ratings": {
      "Accuracy": "4",
      "Clarity": "5",
      "Helpfulness": "3"
    }
  }
}

ユースケース

  • LLM評価: 複数の品質次元での応答評価
  • 翻訳評価: 流暢さ、適切さ、用語の評価
  • 製品レビュー: 異なる製品側面の評価収集
  • 調査研究: リッカート式マトリックス質問
  • 査読: 複数の基準での論文評価

ベストプラクティス

  1. アイテム数を制限 - 3〜7アイテムが最適。多すぎると疲労を招く
  2. 一貫したスケールを使用 - すべてのアイテムで同じ評価スケールを使用
  3. 論理的に順序付け - 関連する次元をグループ化
  4. 明確な定義を提供 - ツールチップで各次元を説明
  5. ランダム化を検討 - 応答の順序バイアスを防止