Skip to content

Multirate (행렬 평가)

Potato에서 어노테이터가 여러 항목을 동일한 척도로 동시에 점수 매기는 평가 행렬을 구성합니다 — 비교 평가와 루브릭 기반 작업에 유용합니다.

multirate 유형은 여러 항목을 행렬 형태로 표시하며, 각 항목은 동일한 척도로 평가됩니다. 단일 항목의 여러 차원을 평가하는 데 적합합니다.

Multi-criteria rating interfaceMatrix rating interface for multi-dimensional evaluation in Potato

기본 설정

yaml
annotation_schemes:
  - name: "aspect_ratings"
    description: "Rate each aspect of the response"
    annotation_type: "multirate"
    labels:
      - name: "Accuracy"
      - name: "Clarity"
      - name: "Helpfulness"
    options:
      - name: "1"
      - name: "2"
      - name: "3"
      - name: "4"
      - name: "5"

설정 옵션

필드유형필수설명
namestring예어노테이션의 고유 식별자
descriptionstring예어노테이터에게 표시되는 안내문
annotation_typestring예반드시 "multirate"
labelsarray예평가할 항목(행)
optionsarray예평가 척도 옵션(열)
sizenumber아니요options의 대안: 척도 점의 개수
min_labelstring아니요가장 낮은 평가의 레이블
max_labelstring아니요가장 높은 평가의 레이블
randomizeboolean아니요항목 순서를 무작위로 배치
compactboolean아니요간결한 레이아웃 사용

예시

응답 품질 평가

yaml
- name: "quality_assessment"
  description: "Rate each aspect of the AI response"
  annotation_type: "multirate"
  labels:
    - name: "Accuracy"
      tooltip: "Is the information factually correct?"
    - name: "Completeness"
      tooltip: "Does it fully address the question?"
    - name: "Clarity"
      tooltip: "Is it easy to understand?"
    - name: "Relevance"
      tooltip: "Does it stay on topic?"
  size: 5
  min_label: "Poor"
  max_label: "Excellent"

번역 품질

yaml
- name: "translation_quality"
  description: "Evaluate the translation quality"
  annotation_type: "multirate"
  labels:
    - name: "Fluency"
    - name: "Adequacy"
    - name: "Terminology"
    - name: "Style"
  options:
    - name: "1 - Unacceptable"
    - name: "2 - Poor"
    - name: "3 - Acceptable"
    - name: "4 - Good"
    - name: "5 - Excellent"

제품 리뷰 항목

yaml
- name: "product_dimensions"
  description: "Rate each aspect of the product"
  annotation_type: "multirate"
  labels:
    - name: "Build Quality"
    - name: "Value for Money"
    - name: "Ease of Use"
    - name: "Customer Support"
    - name: "Documentation"
  size: 5
  min_label: "Very Poor"
  max_label: "Excellent"
  randomize: true

출력 형식

multirate 어노테이션은 각 항목을 해당 평가에 매핑하는 딕셔너리를 출력합니다.

json
{
  "id": "item_1",
  "annotations": {
    "aspect_ratings": {
      "Accuracy": "4",
      "Clarity": "5",
      "Helpfulness": "3"
    }
  }
}

사용 사례

  • LLM 평가: 여러 품질 차원에서 응답을 평가합니다
  • 번역 평가: 유창성, 충실성, 용어를 평가합니다
  • 제품 리뷰: 다양한 제품 측면에 걸쳐 평가를 수집합니다
  • 설문 연구: 리커트 방식의 행렬 질문
  • 동료 심사: 여러 기준으로 논문을 평가합니다

모범 사례

  1. 항목 수를 제한하세요 - 3~7개 항목이 가장 적합하며, 그 이상은 피로를 유발합니다
  2. 일관된 척도를 사용하세요 - 모든 항목은 동일한 평가 척도를 사용해야 합니다
  3. 항목을 논리적으로 정렬하세요 - 관련된 차원을 함께 묶습니다
  4. 명확한 정의를 제공하세요 - 툴팁을 사용해 각 차원을 설명합니다
  5. 무작위 배치를 고려하세요 - 응답의 순서 편향을 방지합니다