組み込みシグナルを使用して監視する

レイテンシー、トークン数、コストといった標準的なシステムメトリクスだけでは、エージェントの動作を十分に把握できません。個々のトレースを調べれば詳細な知見が得られますが、稼働中の環境で生成される数百万件ものトレースを一つひとつ確認するのは現実的ではありません。 シグナルは、本番環境のエージェントの動作を自動でスコアリングすることで、この問題を解決する高レベルのモニタリングソリューションです。

• 自動スコアリング: 本番環境で受信したすべてのトレースが自動的に処理され、一般的な品質の問題やエラーの観点からスコアが付けられます。
• インフラストラクチャー: 処理は CoreWeave のコンピュートと GPU 上で実行されるため、数百万件のトレースにも対応できるスケーラビリティを備えています。

本番環境でシグナルを使用すると、次のことが可能になります。

• 動作に関する知見を得る。システムメトリクスだけでは見えない、エージェントがハルシネーションを起こしていないか、会話のパターンから外れていないか、根拠となる情報に基づいた応答ができているかを把握できます。
• 研究サイクルを加速する。シグナルが生成したスコアや失敗の分析を使用して弱点を特定し、モデルの改善、データのアノテーション、強化学習の研究に活用できます。

​

利用可能なシグナル

W&B Weave には、組み込みシグナルを備えたモニターが用意されています。組み込みシグナルとは、本番環境のトレースに一般的な品質上の問題やエラーがないかをデフォルトで評価するプリセットの Scorer で、カスタム設定は必要ありません。各組み込みシグナルは、ベンチマーク済みの LLM プロンプトでトレースを分類し、検出された問題をカンマ区切りのタグとして保存します。 シグナルは Serverless Inference のモデルでトレースをスコアリングするため、外部の APIキーは必要ありません。 W&B Weave には、2 つのグループに分かれた 13 個のプリセットシグナルが用意されています。

​

品質シグナル

品質シグナルは、成功したルートレベルのトレースを対象に、出力の品質や安全性に関する問題がないかを評価します。

​

エラーシグナル

エラーシグナルは、失敗したトレースを根本原因ごとに分類し、インフラストラクチャーやアプリケーションの問題を特定して解決するのに役立ちます。

​

シグナルの仕組み

各シグナルは、LLM-as-a-judge のアプローチでトレースを分類します。

• トレースの選択: 品質シグナルは成功したルートレベルのトレースを評価し、エラーシグナルは失敗したトレースを評価します。子スパンや中間の Call は、Weave によるスコアリングの対象外です。
• プロンプトの構築: Weave は、トレースのメタデータ、入力、出力、例外の詳細 (存在する場合)、および操作のソースコードを含むプロンプトを構築します。さらに、検出対象の問題に関する指示を記述したシグナルの分類器プロンプトを末尾に追加します。
• LLM によるスコアリング: 各シグナルについて、Serverless Inference のモデルが二値分類 (その問題がトレースに存在するかどうか) を行います。検出された問題は、カンマ区切りの string タグとして返されます (例: "Low-quality, User-frustration, Forgetful")。

同じグループ (Quality または Error) のシグナルが複数有効になっている場合、Weave はそれらを 1 回の LLM Call にまとめてバッチ処理します。モデルは有効なすべての分類器を 1 回で評価し、それぞれの結果を返します。

​

Monitors ページからシグナルを追加する

シグナルを追加すると自動スコアリングが有効になり、Weave は新しい本番トレースをそのシグナルの基準に基づいて評価します。シグナルを有効にするには、次の手順を実行します。

1. Forge にアクセスし、Weave プロジェクトを開きます。
2. Weave プロジェクトのサイドバーで Monitors を選択します。
3. Monitors が有効になっていない project にシグナルを追加するには、シグナルのカードをクリックしてチェックボックスをオンにし、Setup monitors をクリックします。
4. 既存のモニターにシグナルを追加するには、Monitors ページの右上にある Browse signals を選択します。Add signals ドロワーが開き、利用可能なシグナルがカテゴリ (Quality classifiers や Error classifiers など) ごとに、それぞれチェックボックス付きで一覧表示されます。個々のシグナルを選択するか、グループ単位で Enable all を使用するか、Create custom signal を選択します。最後に、ドロワー下部の Add signals を選択します。

シグナルを追加すると、Weave は受信するトレースを自動的にスコアリングします。

​

有効なシグナルを管理する

シグナルが稼働し始めたら、有効になっているシグナルを確認したり、不要になったシグナルをオフにしたりできます。有効なシグナルを表示または削除するには、次の手順に従います。

1. Monitors ページで Manage signals () ボタンを選択します。ドロワーが開き、現在有効なすべてのシグナルがカテゴリ別に一覧表示されます。
2. シグナルにカーソルを合わせ、Remove signal () ボタンを選択して、シグナルを無効にします。

シグナルを削除すると、以降の新しいトレースはスコアリングされなくなります。そのシグナルによる既存のスコアは Weave に保持されます。

​

組み込みシグナルを使用する

シグナルが有効になってトレースのスコアリングが始まると、Weave 内の複数の場所で結果を確認できます。また、Weave が問題を検出したときに通知されるよう、アラートを設定することもできます。以下のセクションでは、シグナルの結果を確認できる場所と、その結果への対応方法について説明します。

​

Traces ページでタグ付けされた Call のトレースを確認する

@weave.op デコレーターを使用して個々の関数を Op としてトレースすると、Weave はシグナルの結果を Call オブジェクトのフィードバックとして保存します。これらの結果は Traces ページからクエリできます。 Traces ページでは、Signals 列を使用して、特定の動作を示すトレースを探すことができます。Signals 列には、条件を満たしたタグが表示されます。タグにカーソルを合わせると、スコアの信頼度と推論を確認できます。 トレース表のツールバーを使用すると、特定のシグナルをトリガーしたトレースのみを表示するようにトレース表をフィルターできます。 シグナルの詳細情報を確認するには、Traces ページでシグナルが生成した分類器の Call を選択し、Trace Details view を確認します。推論は、Call の Output にある classifier_meta で確認できます。たとえば次のスクリーンショットでは、Quality-classifiers シグナルが Low-quality に一致しており、信頼度 (0.9) とこの評価の理由が示されています。

​

project ダッシュボードでシグナルを確認する

シグナルは project 単位でも確認できます。

1. プロジェクトのサイドバーで Project を選択します。
2. Project ダッシュボードの上部にある Weave タブを選択します。
3. Weave ダッシュボードのパネルから Monitor Scores を見つけます。

Monitor Scores パネルでは、project で発生したシグナルを時系列グラフで確認できます。

​

シグナルに基づいてアラートを送信する

UI でシグナルを確認するだけでなく、シグナルがトリガーされたときに Weave から通知を受け取ることもできます。たとえば、エージェントのパフォーマンスが特定のしきい値を下回ったときに、Slack などのツールでチームに通知する自動トリガーを設定できます。 シグナルがトリガーされたときに通知を受け取るには、オートメーションを設定してください。

---

組み込みシグナルでは対応できない特定のモニタリングを行う場合は、カスタムモニターを設定するを参照してください。