Multirate (Avaliação em Matriz)

Configure uma matriz de avaliação no Potato em que os anotadores pontuam vários itens na mesma escala ao mesmo tempo — útil para avaliação comparativa e tarefas baseadas em rubrica.

O tipo multirate exibe vários itens em formato de matriz, em que cada item é avaliado na mesma escala. Ideal para avaliar várias dimensões de um único item.

Multi-criteria rating interface Matrix rating interface for multi-dimensional evaluation in Potato

Configuração Básica

yaml

annotation_schemes:
  - name: "aspect_ratings"
    description: "Rate each aspect of the response"
    annotation_type: "multirate"
    labels:
      - name: "Accuracy"
      - name: "Clarity"
      - name: "Helpfulness"
    options:
      - name: "1"
      - name: "2"
      - name: "3"
      - name: "4"
      - name: "5"

Opções de Configuração

Campo	Tipo	Obrigatório	Descrição
`name`	string	Sim	Identificador único da anotação
`description`	string	Sim	Instruções exibidas aos anotadores
`annotation_type`	string	Sim	Deve ser `"multirate"`
`labels`	array	Sim	Itens a serem avaliados (linhas)
`options`	array	Sim	Opções da escala de avaliação (colunas)
`size`	number	Não	Alternativa a options: número de pontos da escala
`min_label`	string	Não	Rótulo para a avaliação mais baixa
`max_label`	string	Não	Rótulo para a avaliação mais alta
`randomize`	boolean	Não	Aleatoriza a ordem dos itens
`compact`	boolean	Não	Usa um layout compacto

Exemplos

Avaliação da Qualidade da Resposta

yaml

- name: "quality_assessment"
  description: "Rate each aspect of the AI response"
  annotation_type: "multirate"
  labels:
    - name: "Accuracy"
      tooltip: "Is the information factually correct?"
    - name: "Completeness"
      tooltip: "Does it fully address the question?"
    - name: "Clarity"
      tooltip: "Is it easy to understand?"
    - name: "Relevance"
      tooltip: "Does it stay on topic?"
  size: 5
  min_label: "Poor"
  max_label: "Excellent"

Qualidade da Tradução

yaml

- name: "translation_quality"
  description: "Evaluate the translation quality"
  annotation_type: "multirate"
  labels:
    - name: "Fluency"
    - name: "Adequacy"
    - name: "Terminology"
    - name: "Style"
  options:
    - name: "1 - Unacceptable"
    - name: "2 - Poor"
    - name: "3 - Acceptable"
    - name: "4 - Good"
    - name: "5 - Excellent"

Dimensões de Avaliação de Produto

yaml

- name: "product_dimensions"
  description: "Rate each aspect of the product"
  annotation_type: "multirate"
  labels:
    - name: "Build Quality"
    - name: "Value for Money"
    - name: "Ease of Use"
    - name: "Customer Support"
    - name: "Documentation"
  size: 5
  min_label: "Very Poor"
  max_label: "Excellent"
  randomize: true

Formato de Saída

A anotação multirate produz um dicionário que mapeia cada item à sua avaliação:

json

{
  "id": "item_1",
  "annotations": {
    "aspect_ratings": {
      "Accuracy": "4",
      "Clarity": "5",
      "Helpfulness": "3"
    }
  }
}

Casos de Uso

Avaliação de LLM: Avalie respostas em várias dimensões de qualidade
Avaliação de Tradução: Avalie fluência, adequação e terminologia
Avaliações de Produtos: Capture avaliações em diferentes aspectos do produto
Pesquisa por Questionário: Perguntas em matriz no estilo Likert
Revisão por Pares: Avalie artigos segundo vários critérios

Boas Práticas

Limite o número de itens - 3 a 7 itens funcionam melhor; mais do que isso causa fadiga
Use escalas consistentes - Todos os itens devem usar a mesma escala de avaliação
Ordene os itens de forma lógica - Agrupe dimensões relacionadas
Forneça definições claras - Use dicas de ferramenta (tooltips) para explicar cada dimensão
Considere a aleatorização - Evita o viés de ordem nas respostas