Skip to content

セマンティック・キュレーション（Catalog）

レビューすべきエージェント・トレースを、ルールだけでなく類似度で見つけます。アイテムに張った埋め込みインデックスが類似度検索（「この失敗に似たトレースを探す」）と動的スライスを支えます。動的スライスは保存済みのセマンティック条件とメタデータ条件で、条件に一致する新しいトレースを自動で取り込み、データセットにキュレーションします。

セマンティック・キュレーションは、何をレビューすべきかを、ルールや不確実性だけでなく類似度から見つけ出します。 アイテムに張った埋め込みインデックスが、類似度検索（「この失敗に似たトレースを探す」）と動的スライスを支えます。動的スライスとは、保存されたセマンティック条件とメタデータ条件の組み合わせで、一致する新しいトレースを自動的に取り込み、データセットにキュレーションします。ルールベースのトリアージや、モデルの不確実性に基づく能動学習を補完するものです。

有効化

yaml
curation:
  enabled: true
  model_name: all-MiniLM-L6-v2   # any sentence-transformers model
  embed_on_ingest: false          # index runtime-ingested traces on arrival
  text_key: task_description      # which field to embed

埋め込みは遅延読み込みです。sentence-transformers はインデックスを構築するときにだけ import され、起動時には読み込まれないので、ブートは高速なままです。pip install sentence-transformers でインストールするか、独自の embedder を組み込んでください。有効にすると、管理ダッシュボードに Catalog へのリンクが表示されます。

構築、検索、スライス

bash
# Build the index over current items
curl -X POST localhost:8000/admin/catalog/api/build -H "X-API-Key: <key>"
 
# Search by text query (or by an anchor instance to find neighbours)
curl -X POST localhost:8000/admin/catalog/api/search -H "X-API-Key: <key>" \
  -H "Content-Type: application/json" -d '{"query": "tool call failed", "top_k": 10, "threshold": 0.3}'

スライスは、現在のインデックスに対してオンデマンドに解決される保存済みフィルタです。そのため、保存したあとに取り込まれたトレースも、条件に一致すれば自動的に含まれます。任意のセマンティック近傍とメタデータ・フィルタを組み合わせます。

bash
curl -X POST localhost:8000/admin/catalog/api/slices -H "X-API-Key: <key>" \
  -H "Content-Type: application/json" \
  -d '{"name": "tool-errors", "query": "tool call failed", "threshold": 0.3,
       "metadata_filter": [{"field": "metadata.outcome", "equals": "error"}]}'
 
# Curate the resolved instances straight into a dataset
curl -X POST localhost:8000/admin/catalog/api/slices/tool-errors/to_dataset \
  -H "X-API-Key: <key>" -H "Content-Type: application/json" \
  -d '{"dataset": "tool-errors-to-fix"}'

関連項目