Questa pagina non è ancora disponibile nella tua lingua. Viene mostrata la versione in inglese.

Multirate (Matrix-Bewertung)

Mehrere Elemente auf derselben Skala in einem Matrixformat bewerten.

Multirate (Matrix-Bewertung) Annotation

Der Multirate-Typ zeigt mehrere Elemente in einem Matrixformat an, bei dem jedes Element auf derselben Skala bewertet wird. Ideal zur Bewertung mehrerer Dimensionen eines einzelnen Elements.

Grundkonfiguration

yaml

annotation_schemes:
  - name: "aspect_ratings"
    description: "Rate each aspect of the response"
    annotation_type: "multirate"
    labels:
      - name: "Accuracy"
      - name: "Clarity"
      - name: "Helpfulness"
    options:
      - name: "1"
      - name: "2"
      - name: "3"
      - name: "4"
      - name: "5"

Konfigurationsoptionen

Feld	Typ	Erforderlich	Beschreibung
`name`	string	Ja	Eindeutiger Bezeichner für die Annotation
`description`	string	Ja	Anweisungen für Annotatoren
`annotation_type`	string	Ja	Muss `"multirate"` sein
`labels`	array	Ja	Zu bewertende Elemente (Zeilen)
`options`	array	Ja	Bewertungsskalenoptionen (Spalten)
`size`	number	Nein	Alternative zu options: Anzahl der Skalenpunkte
`min_label`	string	Nein	Beschriftung für die niedrigste Bewertung
`max_label`	string	Nein	Beschriftung für die höchste Bewertung
`randomize`	boolean	Nein	Elementreihenfolge zufällig anordnen
`compact`	boolean	Nein	Kompaktes Layout verwenden

Beispiele

Qualitätsbewertung von Antworten

yaml

- name: "quality_assessment"
  description: "Rate each aspect of the AI response"
  annotation_type: "multirate"
  labels:
    - name: "Accuracy"
      tooltip: "Is the information factually correct?"
    - name: "Completeness"
      tooltip: "Does it fully address the question?"
    - name: "Clarity"
      tooltip: "Is it easy to understand?"
    - name: "Relevance"
      tooltip: "Does it stay on topic?"
  size: 5
  min_label: "Poor"
  max_label: "Excellent"

Übersetzungsqualität

yaml

- name: "translation_quality"
  description: "Evaluate the translation quality"
  annotation_type: "multirate"
  labels:
    - name: "Fluency"
    - name: "Adequacy"
    - name: "Terminology"
    - name: "Style"
  options:
    - name: "1 - Unacceptable"
    - name: "2 - Poor"
    - name: "3 - Acceptable"
    - name: "4 - Good"
    - name: "5 - Excellent"

Produktbewertungsdimensionen

yaml

- name: "product_dimensions"
  description: "Rate each aspect of the product"
  annotation_type: "multirate"
  labels:
    - name: "Build Quality"
    - name: "Value for Money"
    - name: "Ease of Use"
    - name: "Customer Support"
    - name: "Documentation"
  size: 5
  min_label: "Very Poor"
  max_label: "Excellent"
  randomize: true

Ausgabeformat

Die Multirate-Annotation gibt ein Wörterbuch aus, das jedes Element seiner Bewertung zuordnet:

json

{
  "id": "item_1",
  "annotations": {
    "aspect_ratings": {
      "Accuracy": "4",
      "Clarity": "5",
      "Helpfulness": "3"
    }
  }
}

Anwendungsfälle

LLM-Evaluation: Antworten auf mehreren Qualitätsdimensionen bewerten
Übersetzungsbewertung: Flüssigkeit, Adäquatheit und Terminologie beurteilen
Produktbewertungen: Bewertungen über verschiedene Produktaspekte erfassen
Umfrageforschung: Likert-Stil-Matrixfragen
Peer-Review: Artikel nach mehreren Kriterien bewerten

Bewährte Vorgehensweisen

Anzahl der Elemente begrenzen - 3–7 Elemente funktionieren am besten; mehr führt zu Ermüdung
Konsistente Skalen verwenden - Alle Elemente sollten dieselbe Bewertungsskala nutzen
Elemente logisch ordnen - Verwandte Dimensionen zusammengruppieren
Klare Definitionen bereitstellen - Tooltips verwenden, um jede Dimension zu erklären
Randomisierung erwägen - Verhindert Reihenfolgeeffekte in den Antworten