シグナルでエージェントをモニタリングする

W&B Weave の Agents ビュー では、シグナル タブにエージェントの会話に対するタグと評価が表示されます。シグナルは品質や安全性の問題を可視化し、問題へのフラグ付け、パターンの検出、対応が必要なトレースの特定に役立ちます。シグナルを使用すると、エージェントの応答品質を自動でスコアリングしたり、ユーザーの不満を検知したり、NSFW コンテンツにフラグを付けたりできます。

​

はじめに

project のシグナルを表示するには:

1. Forge にアクセスし、project を選択します。
2. サイドバーメニューで Agents を選択して、project に保存されているすべてのエージェント会話を表示します。
3. タブバーで シグナル を選択します。

​

主要用語

• Turn: ユーザーとエージェントの間の一往復のやり取り。
• Rating: 条件に一致したスパンに割り当てられる、0.0～1.0 の数値スコア。
• Tags: 条件に一致したスパンに割り当てられるラベル (「user-frustration」や「nsfw」など) 。

​

シグナル表

シグナル タブには、エージェントのスコアリング済みターンの表が表示されます。各行は、シグナル モニターのいずれかの出力を表します。デフォルトでは、次の列が表示されます。 期間セレクターと フィルター バーを使用して、スコアラー、エージェント、スコア範囲、または期間で結果を絞り込みます。スコア件数 タイムラインには、Weave が評価またはタグ付けしたシグナルの件数が表示されます。表に表示されている行が反映され、タイムライン上でドラッグしてフィルターを適用できます。

​

新しいシグナルを作成

エージェントのターンをスコアリングし始めるには、1つ以上のシグナルを作成します。+ New signal を選択して Create signals ドロワーを開きます。 ドロワーでは、利用可能なシグナルが2つのカテゴリにグループ化されています：

• Tags: user-frustration や nsfw などの一致するスパンにラベルを自動的に適用します。タグを使用してスパンを分類したり、望ましくない動作をフラグ付けしたりします。シグナルUIは少なくとも1つのタグに一致したスパンの行のみを表示するため、出力が表示されなくてもタグシグナルは正常に実行される場合があります。
• 評価: 一致するスパンに0から1のスコアを割り当てます。評価を使用してエージェントのパフォーマンスを評価し、時間の経過に伴う改善を測定します。

​

プリセットシグナル

各カテゴリには、直接選択できるプリセットテンプレートが用意されています。両方のカテゴリから任意のプリセットを組み合わせて選択し、[N] 個のシグナルを作成 を選択すると、デフォルト設定で一度にすべて作成できます。

​

Tagsのプリセット

​

評価プリセット

​

カスタムシグナル

空のシグナル タブからカスタムタグシグナルを作成するには、カスタムシグナルを作成するを参照してください。

​

シグナルの管理と編集

作成済みのシグナルが少なくとも 1 つある場合は、ツールバーの有効なシグナルのボタンを選択します。このボタンには、1 active signalsのように、有効なシグナルの数が表示されます。選択すると、project のすべての有効なシグナルを一覧表示するドロワーが開きます。ここからシグナルのオンとオフを切り替えたり、削除したり、任意のシグナルを編集したりできます。エディターには、カスタムシグナルと同じ設定フィールドが表示されます。

​

シグナルのトラブルシューティング

シグナルのアクティビティは、プロジェクトのサイドバーの Traces に表示されます。想定したシグナルの一致が表示されない場合は、Traces 表を使用してデバッグしてください。たとえば、Scorer 名を確認したり、Status 列にエラー状態が示されていないかを確認したりします。Scorer の実行でエラーが発生すると、Status に赤いインジケーターが表示され、エラーの詳細も確認できます。