Skip to content

Automatisierungsregeln

Leiten Sie eingehende Agenten-Traces automatisch mit Filter-, Sampling- und Aktionsregeln weiter. Potato wendet jede Regel auf jeden eingehenden Trace an, um ihn in die Annotationswarteschlange zu leiten, in einen Datensatz zu kuratieren, einen Evaluator auszuführen, einen Webhook auszulösen oder Annotatoren zu benachrichtigen.

Automatisierungsregeln schließen die Schleife von der Produktion zur Bewertung: Eine programmierbare filter → sampling rate → actions-Pipeline läuft über jedes Element, das in Potato eingeht, egal ob es aus Datendateien geladen oder zur Laufzeit über den Trace-Webhook oder das Tracing SDK aufgenommen wurde. Jede passende Regel kann das Element in die Annotationswarteschlange leiten, es in einen Eval-Datensatz kuratieren, einen Evaluator ausführen, einen ausgehenden Webhook auslösen oder Annotatoren benachrichtigen.

Aktivieren

yaml
automation:
  enabled: true
  rules:
    - name: route-errors
      when: {field: status, in: [error, failed]}
      sample_rate: 1.0          # 0.0–1.0 (default 1.0 = every match)
      actions:
        - {type: add_to_queue, priority: 100, reason: "Agent errored"}
        - {type: add_to_dataset, dataset: errors-to-fix}
        - {type: run_evaluator, evaluator: trajectory_match}
        - {type: fire_webhook, url: "https://example.com/hook"}
        - {type: notify, message: "New error trace"}

Wann eine Regel auslöst

Eine Regel löst aus, wenn beides zutrifft:

  1. when passt — die gemeinsame Bedingungsgrammatik (dieselbe wie bei der Triage): equals, in, contains, exists, lt/lte/gt/gte, Feldpfade mit Punktnotation (metadata.score). Eine Liste von Bedingungen wird per AND verknüpft; ein leeres when passt auf alles.
  2. sample_rate wählt sie aus — deterministisches Sampling über einen Hash von (item id, rule name), sodass die erneute Verarbeitung desselben Elements dieselbe Entscheidung ergibt (idempotent, replay-sicher).

Aktionen

AktionWann sie läuftWirkung
add_to_queueinline (schnell)Erhöht die Triage-Priorität des Elements, damit es zuerst erscheint
add_to_datasetinline (schnell)Hängt das Element als Beispiel an einen Datensatz an
notifyinline (schnell)Benachrichtigt verbundene Annotatoren per SSE
run_evaluatorHintergrund-WorkerBewertet das Element mit einem Evaluator; speichert die Punktzahl am Element
fire_webhookHintergrund-WorkerSendet {rule, item_id, item_data} per POST an eine externe URL

Schnelle Aktionen laufen inline im Ingestion-Pfad. Schwergewichtige Aktionen (run_evaluator, fire_webhook) gehen an einen Hintergrund-Worker, sodass die Ingestion nie auf einen externen Aufruf wartet. Jede Aktion zeichnet ein Ergebnis auf, und Fehler werden abgefangen statt weitergereicht — eine fehlerhafte Regel kann die Ingestion also nicht lahmlegen.

Einsehen

Das Admin-Dashboard verlinkt auf Automation (/admin/automation) mit den konfigurierten Regeln, Aktivitätszählern und den jüngsten Aktionsergebnissen (auch als JSON unter /admin/automation/status und /admin/automation/outcomes verfügbar).

Verwandte Themen