Multirate (Avaliação em Matriz)

Name: Potato
Author: Potato

Configure uma matriz de avaliação no Potato em que os anotadores pontuam vários itens na mesma escala ao mesmo tempo — útil para avaliação comparativa e tarefas baseadas em rubrica.

O tipo multirate exibe vários itens em formato de matriz, em que cada item é avaliado na mesma escala. Ideal para avaliar várias dimensões de um único item.

Multi-criteria rating interface Matrix rating interface for multi-dimensional evaluation in Potato

Configuração Básica

yaml

annotation_schemes:
  - name: "aspect_ratings"

Opções de Configuração

Campo	Tipo	Obrigatório	Descrição
`name`	string	Sim	Identificador único da anotação
`description`	string	Sim	Instruções exibidas aos anotadores
`annotation_type`	string	Sim	Deve ser `"multirate"`
`labels`	array	Sim	Itens a serem avaliados (linhas)
`options`	array	Sim	Opções da escala de avaliação (colunas)
`size`	number	Não	Alternativa a options: número de pontos da escala
`min_label`	string	Não	Rótulo para a avaliação mais baixa
`max_label`	string	Não	Rótulo para a avaliação mais alta
`randomize`	boolean	Não	Aleatoriza a ordem dos itens
`compact`	boolean	Não	Usa um layout compacto

Exemplos

Avaliação da Qualidade da Resposta

yaml

- name: "quality_assessment"

Qualidade da Tradução

yaml

- name: "translation_quality"

Dimensões de Avaliação de Produto

yaml

- name: "product_dimensions"

Formato de Saída

A anotação multirate produz um dicionário que mapeia cada item à sua avaliação:

json

{
  "id": "item_1",
  "annotations": {
    "aspect_ratings": {
      "Accuracy": "4",
      "Clarity": "5",
      "Helpfulness": "3"
    }
  }
}

Casos de Uso

Avaliação de LLM: Avalie respostas em várias dimensões de qualidade
Avaliação de Tradução: Avalie fluência, adequação e terminologia
Avaliações de Produtos: Capture avaliações em diferentes aspectos do produto
Pesquisa por Questionário: Perguntas em matriz no estilo Likert
Revisão por Pares: Avalie artigos segundo vários critérios

Boas Práticas

Limite o número de itens - 3 a 7 itens funcionam melhor; mais do que isso causa fadiga
Use escalas consistentes - Todos os itens devem usar a mesma escala de avaliação
Ordene os itens de forma lógica - Agrupe dimensões relacionadas
Forneça definições claras - Use dicas de ferramenta (tooltips) para explicar cada dimensão
Considere a aleatorização - Evita o viés de ordem nas respostas