> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.

# シグナルでエージェントをモニタリングする

> W&B Weave のシグナルを使用して、エージェントのターンをスコアリングし、タグを付与することで、本番環境における品質や安全性の問題を可視化します。

export const AgentLensBanner = ({href}) => <Tip>
    <strong>This workflow is also available in CoreWeave Agent Lens.</strong> Agent Lens is the Forge experience built for tracing, monitoring, and analyzing AI agents, with automated insights into agent failures and user intents. It uses the same trace data as Weights & Biases Weave, so the traces you already send appear there with nothing to migrate.{' '}
    <a href={href || '/products/agent-lens'}>{href ? 'See how to do this in Agent Lens' : 'Learn about Agent Lens'}</a>.
  </Tip>;

<AgentLensBanner href="/ja/products/agent-lens/tags/create-tag" />

W\&B Weave の [Agents ビュー](/ja/products/wandb/weave/guides/tracking/view-agent-activity) では、シグナル タブにエージェントの会話に対するタグと評価が表示されます。シグナルは品質や安全性の問題を可視化し、問題へのフラグ付け、パターンの検出、対応が必要なトレースの特定に役立ちます。シグナルを使用すると、エージェントの応答品質を自動でスコアリングしたり、ユーザーの不満を検知したり、NSFW コンテンツにフラグを付けたりできます。

<h2 id="get-started">
  はじめに
</h2>

project のシグナルを表示するには:

1. [Forge](https://forge.coreweave.com/wandb) にアクセスし、project を選択します。
2. サイドバーメニューで **Agents** を選択して、project に保存されているすべてのエージェント会話を表示します。
3. タブバーで **シグナル** を選択します。

<img src="https://mintcdn.com/coreweave-dbfa0e8d/3Dv_sw2eg8feUJlx/products/wandb/weave/_media/agent-view-signals.png?fit=max&auto=format&n=3Dv_sw2eg8feUJlx&q=85&s=8c6cbeb0985f1892769e14cbf70fb16c" alt="エージェントのスコアリング済みターンのリストを表示するシグナル タブ。" width="2011" height="603" data-path="products/wandb/weave/_media/agent-view-signals.png" />

<h2 id="key-terms">
  主要用語
</h2>

* **Turn**: ユーザーとエージェントの間の一往復のやり取り。
* **Rating**: 条件に一致したスパンに割り当てられる、0.0～1.0 の数値スコア。
* **Tags**: 条件に一致したスパンに割り当てられるラベル (「user-frustration」や「nsfw」など) 。

<h2 id="signals-table">
  シグナル表
</h2>

シグナル タブには、エージェントのスコアリング済みターンの表が表示されます。各行は、シグナル モニターのいずれかの出力を表します。デフォルトでは、次の列が表示されます。

| 列 | 説明 |
| - | - |
| **タイプ** | スコアリングされる会話の部分です。`turn` のみがサポートされます。 |
| **Scorer** | このスコアを生成したシグナルの名です。 |
| **最後のメッセージ** | スコアリング済みターンの最後のメッセージのプレビューです。その下にロールが表示されます。 |
| **エージェント** | スコアリング済みターンに関連付けられたエージェントです。 |
| **スコア** | 0.0 から 1.0 の数値評価、または一致した場合のタグです。1 が良好、0 が不良を示す一貫した評価を使用することを推奨しますが、スコアラーでは任意に定義した尺度を使用できます。 |
| **傾向** | このシグナルの経時的な傾向を示すインライン チャートを表示します。平均値 (評価の場合) または件数 (タグの場合) が表示されます。 |
| **日時** | シグナルがスコアリングされた日時です。 |

期間セレクターと **フィルター** バーを使用して、スコアラー、エージェント、スコア範囲、または期間で結果を絞り込みます。**スコア件数** タイムラインには、Weave が評価またはタグ付けしたシグナルの件数が表示されます。表に表示されている行が反映され、タイムライン上でドラッグしてフィルターを適用できます。

<h2 id="create-a-new-signal">
  新しいシグナルを作成
</h2>

エージェントのターンをスコアリングし始めるには、1つ以上のシグナルを作成します。**+ New signal** を選択して **Create signals** ドロワーを開きます。

ドロワーでは、利用可能なシグナルが2つのカテゴリにグループ化されています：

* **Tags**: `user-frustration` や `nsfw` などの一致するスパンにラベルを自動的に適用します。タグを使用してスパンを分類したり、望ましくない動作をフラグ付けしたりします。シグナルUIは少なくとも1つのタグに一致したスパンの行のみを表示するため、出力が表示されなくてもタグシグナルは正常に実行される場合があります。
* **評価**: 一致するスパンに0から1のスコアを割り当てます。評価を使用してエージェントのパフォーマンスを評価し、時間の経過に伴う改善を測定します。

<h3 id="preset-signals">
  プリセットシグナル
</h3>

各カテゴリには、直接選択できるプリセットテンプレートが用意されています。両方のカテゴリから任意のプリセットを組み合わせて選択し、**\[*N*] 個のシグナルを作成** を選択すると、デフォルト設定で一度にすべて作成できます。

<h4 id="tags-presets">
  Tagsのプリセット
</h4>

| テンプレート | 検出対象 |
| - | - |
| **ユーザーの不満** | ユーザーがいらだち、怒り、混乱、不満の兆候を示していること。 |
| **悪意のある意図 (ジェイルブレイク) **  | ユーザーがシステムのジェイルブレイク、制限されたコンテンツの抽出、プロンプトインジェクション、ロールプレイの悪用、またはその他の方法でエージェントを操作し、ガードレールを無視させようとしていること。 |
| **NSFW** | ユーザーの入力またはエージェントの出力に、露骨な性的コンテンツ、生々しい暴力描写、または職場にふさわしくないその他の内容が含まれていること。 |
| **低品質な応答** | エージェントの出力が、事実と異なる、話題から外れている、回答を避けている、繰り返しが多い、拒否の理由を説明していない、またはその他の点でユーザーのリクエストに応えていないこと。 |

<h4 id="ratings-presets">
  評価プリセット
</h4>

| テンプレート | 評価対象 |
| - | - |
| **ユーザーの満足度** | ユーザーが満足しているか (肯定的な反応、継続的なやり取り、タスク完了) 、不満を抱いているか (苦情、繰り返しの言い換え、利用の中断) を評価します。 |
| **ユーザーの善意** | ユーザーの意図が無害で正当なものか、それともジェイルブレイクの試み、有害なリクエスト、プロンプトインジェクションに該当するかを評価します。 |
| **職場での適切性** | 会話があらゆる職場環境に適しているか、それとも露骨な表現、暴力的な表現、その他の職場に不適切な内容を含んでいるかを評価します。 |
| **応答の品質** | エージェントの応答が正確かつ完全で、ユーザーのリクエストに直接対応しているかを評価します。 |

<h3 id="custom-signals">
  カスタムシグナル
</h3>

空のシグナル タブからカスタムタグシグナルを作成するには、[カスタムシグナルを作成する](/ja/products/wandb/weave/guides/tracking/create-custom-signal)を参照してください。

<h2 id="manage-and-edit-signals">
  シグナルの管理と編集
</h2>

作成済みのシグナルが少なくとも 1 つある場合は、ツールバーの有効なシグナルのボタンを選択します。このボタンには、**1 active signals**のように、有効なシグナルの数が表示されます。選択すると、project のすべての有効なシグナルを一覧表示するドロワーが開きます。ここからシグナルのオンとオフを切り替えたり、削除したり、任意のシグナルを編集したりできます。エディターには、カスタムシグナルと同じ設定フィールドが表示されます。

<h2 id="troubleshoot-signals">
  シグナルのトラブルシューティング
</h2>

シグナルのアクティビティは、プロジェクトのサイドバーの **Traces** に表示されます。想定したシグナルの一致が表示されない場合は、**Traces** 表を使用してデバッグしてください。たとえば、Scorer 名を確認したり、**Status** 列にエラー状態が示されていないかを確認したりします。Scorer の実行でエラーが発生すると、**Status** に赤いインジケーターが表示され、エラーの詳細も確認できます。