Multirate (행렬 평가)

Potato에서 어노테이터가 여러 항목을 동일한 척도로 동시에 점수 매기는 평가 행렬을 구성합니다 — 비교 평가와 루브릭 기반 작업에 유용합니다.

multirate 유형은 여러 항목을 행렬 형태로 표시하며, 각 항목은 동일한 척도로 평가됩니다. 단일 항목의 여러 차원을 평가하는 데 적합합니다.

Multi-criteria rating interface Matrix rating interface for multi-dimensional evaluation in Potato

기본 설정

yaml

annotation_schemes:
  - name: "aspect_ratings"

설정 옵션

필드	유형	필수	설명
`name`	string	예	어노테이션의 고유 식별자
`description`	string	예	어노테이터에게 표시되는 안내문
`annotation_type`	string	예	반드시 `"multirate"`
`labels`	array	예	평가할 항목(행)
`options`	array	예	평가 척도 옵션(열)
`size`	number	아니요	options의 대안: 척도 점의 개수
`min_label`	string	아니요	가장 낮은 평가의 레이블
`max_label`	string	아니요	가장 높은 평가의 레이블
`randomize`	boolean	아니요	항목 순서를 무작위로 배치
`compact`	boolean	아니요	간결한 레이아웃 사용

예시

응답 품질 평가

yaml

- name: "quality_assessment"

번역 품질

yaml

- name: "translation_quality"

제품 리뷰 항목

yaml

- name: "product_dimensions"

출력 형식

multirate 어노테이션은 각 항목을 해당 평가에 매핑하는 딕셔너리를 출력합니다.

json

{
  "id": "item_1",
  "annotations": {
    "aspect_ratings": {
      "Accuracy": "4",
      "Clarity": "5",
      "Helpfulness": "3"
    }
  }
}

사용 사례

LLM 평가: 여러 품질 차원에서 응답을 평가합니다
번역 평가: 유창성, 충실성, 용어를 평가합니다
제품 리뷰: 다양한 제품 측면에 걸쳐 평가를 수집합니다
설문 연구: 리커트 방식의 행렬 질문
동료 심사: 여러 기준으로 논문을 평가합니다

모범 사례

항목 수를 제한하세요 - 3~7개 항목이 가장 적합하며, 그 이상은 피로를 유발합니다
일관된 척도를 사용하세요 - 모든 항목은 동일한 평가 척도를 사용해야 합니다
항목을 논리적으로 정렬하세요 - 관련된 차원을 함께 묶습니다
명확한 정의를 제공하세요 - 툴팁을 사용해 각 차원을 설명합니다
무작위 배치를 고려하세요 - 응답의 순서 편향을 방지합니다