カスタムタグシグナルを作成する
カスタムタグシグナルを作成するには、次の手順に従います。- Forge にアクセスし、project を選択します。
- Weave プロジェクトのサイドバーで、Agents をクリックします。
- タブバーで Signals をクリックします。
- シグナル タブで + Create your first signal または New signal をクリックします。
- ドロワーで Custom Signal をクリックします。
- Custom tags ドロワーで、次のフィールドを設定します。
- Tag name: 監視対象の動作について、Agents ビューに表示されるラベルです。
- Definition: シグナルで検出する動作を記述するプロンプトです。Weave はこのプロンプトを LLM ジャッジモデルに送信します。LLM ジャッジモデルはエージェントの各ターンをスコアリングし、動作に一致するターンにタグを付けます。たとえば、特定のプロダクトに関する不具合を検出する場合は、次のように指定します。「ユーザーが Product X に関するエラーや問題について話している。」
- + Add tag (オプション) : クリックすると、同じシグナルに別のタグを定義できます。たとえば、複数のプロダクトをサポートしている場合、プロダクトごとにタグを追加すると、不満を全体の集計だけでなくプロダクト別にトラッキングできます。
- Scorer name: 基になる scorer オブジェクトの名です。
- Inference model or custom runtime: 一致するターンのスコアリングに使用するモデルです。デフォルトは Serverless Inference です。CoreWeave Serverless Inference は CoreWeave Forge アカウントのクレジットを消費します。
- Include tool calls (オプション) : Advanced を展開し、チェックボックスをオンにすると、スコアリング用モデルに送信するコンテキストにそのターンのツール呼び出しが含まれます。
- Only score turns matching (オプション) : Advanced を展開し、1 つ以上のフィルターを追加すると、シグナルがスコアリングするターンをエージェント、操作、ツール、モデルなどで絞り込めます。空欄のままにすると、エージェントのすべてのターンがスコアリングされます。Weave は複数のフィルターを
AND条件で組み合わせます。 - Sample rate (オプション) : Advanced を展開し、シグナルがスコアリングする、一致したエージェントのターンの割合を設定します。トラフィックの多いエージェントでは、サンプリング率を下げると、すべてのターンではなく一致したターンの一部だけをスコアリングでき、コストを削減できます。
- Custom tags ドロワーで Create signal をクリックします。