Skip to content

Semantische Kuratierung (Catalog)

Per Ähnlichkeit bestimmen, welche Agenten-Traces zu prüfen sind, und nicht nur per Regel. Ein Embedding-Index über die Elemente ermöglicht die Ähnlichkeitssuche („Traces wie diesen Fehler finden“) und dynamische Slices, also gespeicherte semantische und Metadatenfilter, die neu passende Traces automatisch aufnehmen und in Datensätze kuratieren.

Die semantische Kuratierung hilft dabei, was zu prüfen ist per Ähnlichkeit zu finden, nicht nur per Regel oder Unsicherheit. Ein Embedding-Index über die Elemente ermöglicht die Ähnlichkeitssuche („Traces wie diesen Fehler finden") und dynamische Slices: gespeicherte semantische und Metadatenfilter, die neu passende Traces automatisch aufnehmen und in Datensätze kuratieren. Sie ergänzt die regelbasierte Triage und das Active Learning nach Modellunsicherheit.

Aktivieren

yaml
curation:
  enabled: true
  model_name: all-MiniLM-L6-v2   # any sentence-transformers model
  embed_on_ingest: false          # index runtime-ingested traces on arrival
  text_key: task_description      # which field to embed

Embeddings werden verzögert geladen: sentence-transformers wird erst beim Aufbau des Index importiert, nie beim Start, sodass der Serverstart schnell bleibt. Installation über pip install sentence-transformers, alternativ lässt sich ein eigener Embedder einhängen. Ist die Funktion aktiv, zeigt das Admin-Dashboard einen Catalog-Link.

Aufbauen, suchen, slicen

bash
# Build the index over current items
curl -X POST localhost:8000/admin/catalog/api/build -H "X-API-Key: <key>"
 
# Search by text query (or by an anchor instance to find neighbours)
curl -X POST localhost:8000/admin/catalog/api/search -H "X-API-Key: <key>" \
  -H "Content-Type: application/json" -d '{"query": "tool call failed", "top_k": 10, "threshold": 0.3}'

Ein Slice ist ein gespeicherter Filter, der bei Bedarf gegen den aktuellen Index aufgelöst wird. Traces, die nach dem Speichern aufgenommen wurden, sind also automatisch enthalten, sofern sie passen. Er kombiniert eine optionale semantische Nachbarschaft mit einem Metadatenfilter:

bash
curl -X POST localhost:8000/admin/catalog/api/slices -H "X-API-Key: <key>" \
  -H "Content-Type: application/json" \
  -d '{"name": "tool-errors", "query": "tool call failed", "threshold": 0.3,
       "metadata_filter": [{"field": "metadata.outcome", "equals": "error"}]}'
 
# Curate the resolved instances straight into a dataset
curl -X POST localhost:8000/admin/catalog/api/slices/tool-errors/to_dataset \
  -H "X-API-Key: <key>" -H "Content-Type: application/json" \
  -d '{"dataset": "tool-errors-to-fix"}'

Verwandte Themen