> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.
# 組み込みシグナルを使用して監視する
> W&B は、本番環境のエージェント向けに組み込みのスコアリングソリューションを提供しています
このページでは、本番トラフィックを監視する以前の方法について説明します。新たに実装する場合は、Weave for Agents の **Signals** を使用してください。詳しくは、[エージェントのシグナルを表示する](/ja/products/wandb/weave/guides/tracking/view-agent-signals)を参照してください。
レイテンシー、トークン数、コストといった標準的なシステムメトリクスだけでは、エージェントの動作を十分に把握できません。個々のトレースを調べれば詳細な知見が得られますが、稼働中の環境で生成される数百万件ものトレースを一つひとつ確認するのは現実的ではありません。
シグナルは、本番環境のエージェントの動作を自動でスコアリングすることで、この問題を解決する高レベルのモニタリングソリューションです。
* 自動スコアリング: 本番環境で受信したすべてのトレースが自動的に処理され、一般的な品質の問題やエラーの観点からスコアが付けられます。
* インフラストラクチャー: 処理は CoreWeave のコンピュートと GPU 上で実行されるため、数百万件のトレースにも対応できるスケーラビリティを備えています。
本番環境でシグナルを使用すると、次のことが可能になります。
* 動作に関する知見を得る。システムメトリクスだけでは見えない、エージェントがハルシネーションを起こしていないか、会話のパターンから外れていないか、根拠となる情報に基づいた応答ができているかを把握できます。
* 研究サイクルを加速する。シグナルが生成したスコアや失敗の分析を使用して弱点を特定し、モデルの改善、データのアノテーション、強化学習の研究に活用できます。
利用可能なシグナル
W\&B Weave には、組み込みシグナルを備えたモニターが用意されています。組み込みシグナルとは、本番環境のトレースに一般的な品質上の問題やエラーがないかをデフォルトで評価するプリセットの Scorer で、カスタム設定は必要ありません。各組み込みシグナルは、ベンチマーク済みの LLM プロンプトでトレースを分類し、検出された問題をカンマ区切りのタグとして保存します。
シグナルは [Serverless Inference](/ja/products/inference/serverless) のモデルでトレースをスコアリングするため、外部の APIキーは必要ありません。
W\&B Weave には、2 つのグループに分かれた 13 個のプリセットシグナルが用意されています。
品質シグナル
品質シグナルは、成功したルートレベルのトレースを対象に、出力の品質や安全性に関する問題がないかを評価します。
| シグナル | 検出内容 |
| - | - |
| **Hallucination** | 提供された入力コンテキストと矛盾する、捏造された事実や主張 |
| **Low quality** | 形式が不適切な応答、手間をかけていない応答、または内容が不完全な応答 |
| **User frustration** | 同じ質問の繰り返し、否定的な感情、苦情など、ユーザーの不満を示す兆候 |
| **Jailbreaking** | 安全ガイドラインの回避を狙ったプロンプトインジェクションやジェイルブレイクの試み |
| **NSFW** | 入力または出力に含まれる露骨な内容、暴力的な内容、その他の不適切なコンテンツ |
| **Lazy** | 極端に短い回答、支援の拒否、作業の先送りなど、手抜きの応答 |
| **Forgetful** | 会話の前半のコンテキストを活用できず、以前に示された事実や指示を無視している状態 |
エラーシグナル
エラーシグナルは、失敗したトレースを根本原因ごとに分類し、インフラストラクチャーやアプリケーションの問題を特定して解決するのに役立ちます。
| シグナル | 検出内容 |
| - | - |
| **Network Error** | DNS 障害、タイムアウト、接続のリセットなど、接続性に関する問題 |
| **Ratelimited** | HTTP `429` 応答、クォータの枯渇、上流 API によるスロットリング |
| **Request Too Large** | サイズまたはトークンの制限を超えたリクエスト (コンテキストウィンドウの超過など) |
| **Bad Request** | サーバーがリクエストを拒否したクライアント側のエラー (`429` を除く `4xx`) |
| **Bad Response** | リモートサービスから返された無効な応答、予期しない応答、または使用できない応答 (`5xx`) |
| **Bug** | `KeyError`、`TypeError`、ロジックエラーなど、アプリケーションコードの不具合 |
シグナルの仕組み
各シグナルは、LLM-as-a-judge のアプローチでトレースを分類します。
* **トレースの選択**: 品質シグナルは成功したルートレベルのトレースを評価し、エラーシグナルは失敗したトレースを評価します。子スパンや中間の Call は、Weave によるスコアリングの対象外です。
* **プロンプトの構築**: Weave は、トレースのメタデータ、入力、出力、例外の詳細 (存在する場合)、および操作のソースコードを含むプロンプトを構築します。さらに、検出対象の問題に関する指示を記述したシグナルの分類器プロンプトを末尾に追加します。
* **LLM によるスコアリング**: 各シグナルについて、Serverless Inference のモデルが二値分類 (その問題がトレースに存在するかどうか) を行います。検出された問題は、カンマ区切りの string タグとして返されます (例: `"Low-quality, User-frustration, Forgetful"`)。
同じグループ (Quality または Error) のシグナルが複数有効になっている場合、Weave はそれらを 1 回の LLM Call にまとめてバッチ処理します。モデルは有効なすべての分類器を 1 回で評価し、それぞれの結果を返します。
Monitors ページからシグナルを追加する
シグナルを追加すると自動スコアリングが有効になり、Weave は新しい本番トレースをそのシグナルの基準に基づいて評価します。シグナルを有効にするには、次の手順を実行します。
1. [Forge](https://forge.coreweave.com/wandb) にアクセスし、Weave プロジェクトを開きます。
2. Weave プロジェクトのサイドバーで **Monitors** を選択します。
3. Monitors が有効になっていない project にシグナルを追加するには、シグナルのカードをクリックしてチェックボックスをオンにし、**Setup monitors** をクリックします。
4. 既存のモニターにシグナルを追加するには、**Monitors** ページの右上にある **Browse signals** を選択します。**Add signals** ドロワーが開き、利用可能なシグナルがカテゴリ (Quality classifiers や Error classifiers など) ごとに、それぞれチェックボックス付きで一覧表示されます。個々のシグナルを選択するか、グループ単位で **Enable all** を使用するか、**Create custom signal** を選択します。最後に、ドロワー下部の **Add signals** を選択します。
シグナルを追加すると、Weave は受信するトレースを自動的にスコアリングします。
有効なシグナルを管理する
シグナルが稼働し始めたら、有効になっているシグナルを確認したり、不要になったシグナルをオフにしたりできます。有効なシグナルを表示または削除するには、次の手順に従います。
1. Monitors ページで **Manage signals** () ボタンを選択します。ドロワーが開き、現在有効なすべてのシグナルがカテゴリ別に一覧表示されます。
2. シグナルにカーソルを合わせ、**Remove signal** () ボタンを選択して、シグナルを無効にします。
シグナルを削除すると、以降の新しいトレースはスコアリングされなくなります。そのシグナルによる既存のスコアは Weave に保持されます。
組み込みシグナルを使用する
シグナルが有効になってトレースのスコアリングが始まると、Weave 内の複数の場所で結果を確認できます。また、Weave が問題を検出したときに通知されるよう、アラートを設定することもできます。以下のセクションでは、シグナルの結果を確認できる場所と、その結果への対応方法について説明します。
Traces ページでタグ付けされた Call のトレースを確認する
`@weave.op` デコレーターを使用して個々の関数を Op としてトレースすると、Weave はシグナルの結果を Call オブジェクトのフィードバックとして保存します。これらの結果は **Traces** ページからクエリできます。
**Traces** ページでは、**Signals** 列を使用して、特定の動作を示すトレースを探すことができます。Signals 列には、条件を満たしたタグが表示されます。タグにカーソルを合わせると、スコアの信頼度と推論を確認できます。
トレース表のツールバーを使用すると、特定のシグナルをトリガーしたトレースのみを表示するようにトレース表をフィルターできます。
シグナルの詳細情報を確認するには、Traces ページでシグナルが生成した分類器の Call を選択し、**Trace Details view** を確認します。推論は、Call の **Output** にある `classifier_meta` で確認できます。たとえば次のスクリーンショットでは、`Quality-classifiers` シグナルが `Low-quality` に一致しており、信頼度 (0.9) とこの評価の理由が示されています。
project ダッシュボードでシグナルを確認する
シグナルは project 単位でも確認できます。
1. プロジェクトのサイドバーで **Project** を選択します。
2. Project ダッシュボードの上部にある **Weave** タブを選択します。
3. Weave ダッシュボードのパネルから **Monitor Scores** を見つけます。
Monitor Scores パネルでは、project で発生したシグナルを時系列グラフで確認できます。
シグナルに基づいてアラートを送信する
UI でシグナルを確認するだけでなく、シグナルがトリガーされたときに Weave から通知を受け取ることもできます。たとえば、エージェントのパフォーマンスが特定のしきい値を下回ったときに、Slack などのツールでチームに通知する自動トリガーを設定できます。
シグナルがトリガーされたときに通知を受け取るには、[オートメーション](/ja/products/wandb/weave/guides/evaluation/automations)を設定してください。
***
組み込みシグナルでは対応できない特定のモニタリングを行う場合は、[カスタムモニターを設定する](/ja/products/wandb/weave/guides/evaluation/custom-monitors)を参照してください。