このページはまだお使いの言語に翻訳されていません。英語版を表示しています。

Gesprächsbäume

Hierarchische Gesprächsstrukturen mit Knotenbewertung und Pfadauswahl annotieren.

Gesprächsbäume

Das Baumannotationsschema ermöglicht die Annotation hierarchischer Gesprächsstrukturen wie Chatbot-Antwortbäumen, Dialogsystemen oder verzweigten Erzählungen. Annotatoren können einzelne Knoten bewerten, bevorzugte Pfade auswählen und Verzweigungen an Entscheidungspunkten vergleichen.

Anwendungsfälle

Chatbot-Evaluation - Qualität mehrerer Antwortoptionen bewerten
Dialogsysteme - Bevorzugte Gesprächspfade auswählen
A/B-Tests - Verschiedene Antwortstrategien vergleichen
Interaktive Fiktion - Verzweigte Geschichtspfade bewerten

Schnellstart

yaml

annotation_schemes:
  - annotation_type: tree_annotation
    name: response_quality
    description: Evaluate the conversation tree
    node_scheme:
      annotation_type: likert
      min_label: "Poor"
      max_label: "Excellent"
      size: 5
    path_selection:
      enabled: true
      description: Select the best response path through the tree

Konfigurationsoptionen

Feld	Typ	Standard	Beschreibung
`annotation_type`	string	Erforderlich	Muss `"tree_annotation"` sein
`name`	string	Erforderlich	Eindeutiger Bezeichner für dieses Schema
`description`	string	Erforderlich	Anweisungen für Annotatoren
`node_scheme`	object	`{}`	Annotationsschema-Konfiguration für knotenweise Annotation
`path_selection.enabled`	boolean	`false`	Pfadauswahl durch den Baum aktivieren
`path_selection.description`	string	`"Select the best response path"`	Anweisungen für die Pfadauswahl
`branch_comparison.enabled`	boolean	`false`	Verzweigungsvergleichsmodus aktivieren

Beispiele

Knotenbewertung

Jede Antwort im Gesprächsbaum bewerten:

yaml

annotation_schemes:
  - annotation_type: tree_annotation
    name: response_rating
    description: Rate each response in the conversation
    node_scheme:
      annotation_type: likert
      min_label: "Very Bad"
      max_label: "Very Good"
      size: 5

Pfadauswahl

Den besten Pfad durch das Gespräch auswählen:

yaml

annotation_schemes:
  - annotation_type: tree_annotation
    name: best_path
    description: Navigate the conversation tree
    path_selection:
      enabled: true
      description: Click on responses to build the best conversation path

Multi-Kriterien-Knotenbewertung

Knoten auf mehreren Dimensionen bewerten:

yaml

annotation_schemes:
  - annotation_type: tree_annotation
    name: multi_criteria
    description: Evaluate each response on multiple criteria
    node_scheme:
      annotation_type: multirate
      options:
        - Relevance
        - Fluency
        - Helpfulness
      labels: ["1", "2", "3", "4", "5"]

Verzweigungsvergleichsmodus

Geschwisterverzweigungen an Entscheidungspunkten vergleichen:

yaml

annotation_schemes:
  - annotation_type: tree_annotation
    name: branch_compare
    description: Compare response options at each decision point
    branch_comparison:
      enabled: true
    node_scheme:
      annotation_type: radio
      labels: ["Better", "Same", "Worse"]

Datenformat

Eingabe

Baumdaten sollten im JSON-Format mit hierarchischer Struktur bereitgestellt werden:

json

{
  "id": "conv_001",
  "tree": {
    "id": "root",
    "role": "user",
    "content": "Hello, I need help with my order",
    "children": [
      {
        "id": "resp_a",
        "role": "assistant",
        "content": "I'd be happy to help! Can you provide your order number?",
        "children": [
          {
            "id": "user_2",
            "role": "user",
            "content": "It's ORDER-12345",
            "children": []
          }
        ]
      },
      {
        "id": "resp_b",
        "role": "assistant",
        "content": "Sure, what seems to be the problem?",
        "children": []
      }
    ]
  }
}

Den Baumdatenschlüssel konfigurieren:

yaml

item_properties:
  id_key: id
  tree_key: tree

Ausgabe

Baumannotationen werden mit Knoten- und Pfaddaten gespeichert:

json

{
  "response_quality": {
    "node_annotations": {
      "resp_a": {
        "rating": 4
      },
      "resp_b": {
        "rating": 2
      }
    },
    "selected_path": ["root", "resp_a", "user_2"]
  }
}

Benutzeroberfläche

Baumvisualisierung

Der Gesprächsbaum wird mit Knoten für Nachrichten/Antworten, Kanten für Eltern-Kind-Beziehungen und Verzweigungspunkten, an denen mehrere Antworten vorhanden sind, dargestellt.

Knotenauswahl

Auf einen beliebigen Knoten klicken, um den vollständigen Nachrichteninhalt anzuzeigen, auf das Annotationspanel zuzugreifen und den Knoten dem ausgewählten Pfad hinzuzufügen (sofern Pfadauswahl aktiviert ist).

Pfadauswahl

Wenn die Pfadauswahl aktiviert ist, Knoten anklicken, um sie dem Pfad hinzuzufügen. Der ausgewählte Pfad wird hervorgehoben, und „Pfad löschen" ermöglicht einen Neustart.

Bewährte Vorgehensweisen

Knotenschemata einfach halten - komplexe Annotationsoberflächen auf jedem Knoten können die Annotation verlangsamen
Kontext bereitstellen - sicherstellen, dass Annotatoren übergeordnete Nachrichten beim Bewerten einer Antwort sehen können
Pfadauswahl gezielt einsetzen - funktioniert am besten für kleinere Bäume
Annotatoren schulen - Baumnavigation erfordert Übung; Trainingsbeispiele bereitstellen

Weiterführende Lektüre

Paarweiser Vergleich - Für einfachere A/B-Vergleiche
KI-Unterstützung - KI-gestützte Annotation

Implementierungsdetails sind in der Quelldokumentation zu finden.