Esta página aún no está disponible en su idioma. Se muestra la versión en inglés.

Multirate (valutazione a matrice)

Valuta più elementi sulla stessa scala in formato matriciale.

Annotazione Multirate (valutazione a matrice)

Il tipo multirate visualizza più elementi in formato matriciale in cui ogni elemento viene valutato sulla stessa scala. Perfetto per valutare più dimensioni di un singolo elemento.

Configurazione di base

yaml

annotation_schemes:
  - name: "aspect_ratings"
    description: "Rate each aspect of the response"
    annotation_type: "multirate"
    labels:
      - name: "Accuracy"
      - name: "Clarity"
      - name: "Helpfulness"
    options:
      - name: "1"
      - name: "2"
      - name: "3"
      - name: "4"
      - name: "5"

Opzioni di configurazione

Campo	Tipo	Obbligatorio	Descrizione
`name`	string	Sì	Identificatore univoco dell'annotazione
`description`	string	Sì	Istruzioni mostrate agli annotatori
`annotation_type`	string	Sì	Deve essere `"multirate"`
`labels`	array	Sì	Elementi da valutare (righe)
`options`	array	Sì	Opzioni della scala di valutazione (colonne)
`size`	number	No	Alternativa a options: numero di punti della scala
`min_label`	string	No	Etichetta per la valutazione più bassa
`max_label`	string	No	Etichetta per la valutazione più alta
`randomize`	boolean	No	Randomizza l'ordine degli elementi
`compact`	boolean	No	Usa layout compatto

Esempi

Valutazione della qualità della risposta

yaml

- name: "quality_assessment"
  description: "Rate each aspect of the AI response"
  annotation_type: "multirate"
  labels:
    - name: "Accuracy"
      tooltip: "Is the information factually correct?"
    - name: "Completeness"
      tooltip: "Does it fully address the question?"
    - name: "Clarity"
      tooltip: "Is it easy to understand?"
    - name: "Relevance"
      tooltip: "Does it stay on topic?"
  size: 5
  min_label: "Poor"
  max_label: "Excellent"

Qualità della traduzione

yaml

- name: "translation_quality"
  description: "Evaluate the translation quality"
  annotation_type: "multirate"
  labels:
    - name: "Fluency"
    - name: "Adequacy"
    - name: "Terminology"
    - name: "Style"
  options:
    - name: "1 - Unacceptable"
    - name: "2 - Poor"
    - name: "3 - Acceptable"
    - name: "4 - Good"
    - name: "5 - Excellent"

Dimensioni della recensione del prodotto

yaml

- name: "product_dimensions"
  description: "Rate each aspect of the product"
  annotation_type: "multirate"
  labels:
    - name: "Build Quality"
    - name: "Value for Money"
    - name: "Ease of Use"
    - name: "Customer Support"
    - name: "Documentation"
  size: 5
  min_label: "Very Poor"
  max_label: "Excellent"
  randomize: true

Formato di output

L'annotazione multirate produce un dizionario che mappa ogni elemento alla sua valutazione:

json

{
  "id": "item_1",
  "annotations": {
    "aspect_ratings": {
      "Accuracy": "4",
      "Clarity": "5",
      "Helpfulness": "3"
    }
  }
}

Casi d'uso

Valutazione LLM: Valuta le risposte su più dimensioni di qualità
Valutazione della traduzione: Valuta fluidità, adeguatezza e terminologia
Recensioni di prodotti: Acquisisci valutazioni su diversi aspetti del prodotto
Ricerca tramite sondaggi: Domande a matrice in stile Likert
Revisione tra pari: Valuta articoli su più criteri

Buone pratiche

Limita il numero di elementi - Da 3 a 7 elementi funziona meglio; un numero maggiore causa affaticamento
Usa scale coerenti - Tutti gli elementi devono usare la stessa scala di valutazione
Ordina gli elementi in modo logico - Raggruppa le dimensioni correlate
Fornisci definizioni chiare - Usa i tooltip per spiegare ogni dimensione
Considera la randomizzazione - Previene il bias d'ordine nelle risposte