はじめに
project のシグナルを表示するには:- Forge にアクセスし、project を選択します。
- サイドバーメニューで Agents を選択して、project に保存されているすべてのエージェント会話を表示します。
- タブバーで シグナル を選択します。
主要用語
- Turn: ユーザーとエージェントの間の一往復のやり取り。
- Rating: 条件に一致したスパンに割り当てられる、0.0～1.0 の数値スコア。
- Tags: 条件に一致したスパンに割り当てられるラベル (「user-frustration」や「nsfw」など) 。
シグナル表
シグナル タブには、エージェントのスコアリング済みターンの表が表示されます。各行は、シグナル モニターのいずれかの出力を表します。デフォルトでは、次の列が表示されます。
期間セレクターと フィルター バーを使用して、スコアラー、エージェント、スコア範囲、または期間で結果を絞り込みます。スコア件数 タイムラインには、Weave が評価またはタグ付けしたシグナルの件数が表示されます。表に表示されている行が反映され、タイムライン上でドラッグしてフィルターを適用できます。
Weave によるスコアの正規化
Weave はシグナルの結果を保存する前に、Scorer が返したタグ、評価、理由を正規化します。- タグは小文字に変換されます。
0-9、a-z、A-Z、スペース、および. , ; - & ! @ # $ % ?以外の文字は削除されます。連続する空白、アンダースコア、ダッシュは 1 つのダッシュにまとめられます。 - 1 つの結果につき保持されるタグは最大 10 個です。重複するタグは破棄されます。
- 理由も同様に上記以外の文字が削除され、256 文字に切り詰められます。
- 36 文字を超えるタグを含む結果、または複数の評価を含む結果は、結果全体が拒否され、Weave はその結果のフィードバックを書き込みません。
新しいシグナルを作成
エージェントのターンをスコアリングし始めるには、1つ以上のシグナルを作成します。+ New signal を選択して Create signals ドロワーを開きます。 ドロワーでは、利用可能なシグナルが2つのカテゴリにグループ化されています：- Tags:
user-frustrationやnsfwなどの一致するスパンにラベルを自動的に適用します。タグを使用してスパンを分類したり、望ましくない動作をフラグ付けしたりします。シグナルUIは少なくとも1つのタグに一致したスパンの行のみを表示するため、出力が表示されなくてもタグシグナルは正常に実行される場合があります。 - 評価: 一致するスパンに0から1のスコアを割り当てます。評価を使用してエージェントのパフォーマンスを評価し、時間の経過に伴う改善を測定します。