カスタムタグを作成する

タグは、user-frustration や refund-policy-violated のように、ユーザーが定義した動作を表すラベルをエージェントのターンに付けるものです。タグの AI enabled をオンにすると、CoreWeave Agent Lens は LLM ジャッジモデルを使用して、新しいターンをすべてタグの基準に照らして評価し、基準に明確に該当する場合にタグを適用します。タグは、Conversations タブの各ターン、会話の表の Tags 列、Overview タブの Tags チャートと Trending tags チャートに表示されます。 このページでは、タグの作成と設定、実際の会話を使ったテスト、AI 評価の有効化の手順を説明します。

​

タグを作成する

project にタグを作成するには、次の手順を実行します。

1. CoreWeave Forge にアクセスし、プロダクトメニューから Agent Lens を選択します。
2. project を選択します。Agent Lens では、最後に使用した project が開きます。project を切り替えるには、サイドメニュー上部の project セレクターを使用します。
3. Agent Lens のサイドメニューで Tags を選択します。
4. New tag を選択します。New tag ページが開きます。
5. Tag に、タグの名前 (例: user-frustration) を入力します。
6. 必要に応じて AI enabled をオンにすると、条件に一致するターンに Agent Lens が自動でタグを付けるようになります。その場合は Criteria を入力し、必要に応じて Filter by agent name も入力します。詳細については、タグを設定するを参照してください。
7. Create tag を選択します。

​

タグを設定する

タグエディターの Configuration タブには、次の設定項目があります。New tag ページにも同じ設定項目があります。既存のタグのエディターを開く方法については、タグを編集、無効化、または削除するを参照してください。設定を変更したら、Save を選択します。

​

Tag

Agent Lens が条件に一致するターンに付与するラベルです。小文字の英字、数字、ハイフンを使用し、64 文字以内で指定します (例: frustration-handled) 。タグ名は project 内で一意である必要があります。 Tag フィールドの色付きのドットは、Agent Lens UI 上でのタグの表示色を示します。色は評価に影響しません。

​

Apply with AI

このタグの自動評価をオンにします。トグルがオフの場合、タグは評価されず、誰かが手動で適用したときにのみターンに表示されます。トグルがオンの場合、タグに AI enabled バッジが表示され、LLM judge が project 内のすべての新しいターンを基準に沿って評価します。 以下の点に注意してください。

• judge は、ターンが届いた時点で順次評価します。AI enabled をオンにしても、project 内の既存の会話は評価されません。
• judge は、AI enabled がオンになっているタグごとに、新しいターン 1 件につき 1 回実行されます。こうしたタグが多数ある project では、各ターンが何度も評価されます。
• judge の推論は CoreWeave Serverless Inference 上で実行され、その料金はタグを作成したユーザーの project に課金されます。
• トグルをオフにすると、新しいターンの評価は停止します。ただし、judge が適用済みのタグは削除されません。

Criteria と Filter by agent name の設定は、AI enabled がオンの場合にのみ表示されます。

​

Criteria

タグを適用する条件を正確に記述したもので、最大 1,600 文字まで入力できます。LLM judge は、入力された Criteria をそのまま受け取り、ターンのシステム指示、ユーザーメッセージ、エージェントの応答、ツールのアクティビティ、ステータスとあわせて評価し、Criteria に明確に該当する場合にのみタグを適用します。 Criteria は、レビュー担当者に指示を伝えるつもりで記述してください。

• タグのテーマではなく、ターン内に何が含まれている必要があるかを記述します。たとえば、Frustration handling よりも The agent recognizes that the user is frustrated and changes its approach in response のほうが正確です。
• 特定のフレーズ、理由を示さない拒否、エラーを返したもののエージェントに無視されたツール呼び出しなど、judge が確認すべき根拠を明示します。
• 該当しないケースを明記します。
• 1 つのタグで扱う動作は 1 つに絞ります。

​

Filter by agent name (オプション)

judge の対象を、指定したエージェントのターンに限定します。project 内のすべてのターンを評価するには、このフィールドを空のままにします。 新しいターンが届くと、Agent Lens はそのターンに記録されたエージェント名を、このフィールドに指定された名前と照合します。照合は、大文字と小文字を区別する文字列の完全一致で行われます。ターンのエージェント名が指定された名前のいずれかと一致する場合、またはフィールドが空の場合は、judge がそのターンを評価します。それ以外の場合、judge はこのタグについてそのターンをスキップします。 1 つの project に複数のエージェントが含まれており、一部のエージェントにしか関係しないタグがある場合は、このフィルターを使用します。たとえば、refund-policy-violated タグは support-agent を対象とするもので、同じ project 内の research-agent には適用すべきではありません。 各名前は、エージェントがトレースで送信する名前と一致している必要があります。正確な名前を確認するには、Conversations タブでそのエージェントの会話を開き、Agent 列を有効にして、ターンに表示されるエージェント名を確認します。このフィルターではワイルドカードや部分一致は使用できません。また、手動で適用したタグには影響しません。

​

有効化する前にタグをテストする

Alignment タブでは、タグを適用することなく、選択したターンに対して judge をテストできます。これにより、ライブトラフィックの評価を始める前に基準を調整できます。 このタブには 4 つのペインがあります。左側の Test criteria には、タグの基準の作業用コピーが表示され、自由に編集できます。Test turns には、追加したサンプルのターンが一覧表示されます。その隣のペインには、選択したターンが表示されます。右側の Test results には、そのターンの期待される結果、judge が割り当てたタグ、テストのステータスが表示されます。 判定基準をテストするには、次の手順に従います。

1. タグエディターで Alignment を選択します。
2. Test turns で Add turns を選択します。project の会話の一覧が開きます。
3. 会話を開き、追加するターンの横にある + アイコンを選択します。タグを適用すべきかどうかが事前にわかっているターンを選び、適用すべきでないターンもいくつか含めてください。
   
4. 各テストターンについて、Test results で期待される結果を設定します。Expected results で、タグを適用すべき場合はタグ名を、適用すべきでない場合は No tag を選択します。
5. 必要に応じて、Test criteria のテキストを編集します。テストには保存済みの基準ではなくこのテキストが使用されるため、ライブのタグに影響を与えずに別の基準を試せます。
6. Run test を選択します。

Agent Lens は、各サンプルのターンをテスト基準とともに judge に送信し、その判定を期待される結果と比較します。各サンプルには次のいずれかの状態が表示されます。 Test turns のフッターには、ラベル付けされたサンプル全体の合格率が表示されます。各サンプルの Assigned tags には judge がタグを適用したかどうかが、Reasoning には judge が示した 1 文の根拠が表示されます。不合格のサンプルをもとに Test criteria のテキストを改善し、もう一度テストを実行してください。 会話をレビューしながらターンを追加することもできます。Conversations ページで会話を選択し、ターンのアクションメニュー (…) を選択してから、Add to test turns を選択します。 Test criteria での編集内容はタグには保存されません。合格率が目標に達したら、最終的なテキストを Tags ページの Configuration タブにある Criteria にコピーし、AI enabled をオンにして Save を選択します。

​

タグを手動で適用する

タグの AI enabled がオンかオフかにかかわらず、ターンには自分でラベルを付けることができます。

1. Conversations タブで会話を開きます。
2. Thread タブで対象のターンを探し、そのヘッダーにある Add tag を選択します。
3. 既存のタグを検索するか、新しいラベルを入力して Create を選択し、追加します。

手動で適用したタグは、judge が適用したタグとは別に記録され、Filter by agent name の対象にもなりません。また、この方法で作成したラベルは設定済みのタグにはなりません。ラベルに基準と judge を設定する場合は、Tags ページから作成してください。

​

タグを編集、無効化、または削除する

タグを編集または無効にするには、次の手順を実行します。

1. Tags ページで、対象のタグの横にあるアクションメニュー (…) を選択し、Edit を選択します。
2. Configuration タブで、タグ名または基準を更新します。自動評価を停止するには、AI enabled をオフにします。
3. Save を選択します。

タグを削除するには、Tags ページで対象のタグの横にあるアクションメニュー (…) を選択し、Delete を選択します。確認のメッセージが表示されたら、削除を確定します。

​

タグ付けされた会話とターンを表示する

Agent Lens が会話にタグを付けると、そのタグは Conversations タブの Tags 列に表示されます。タグ付けされた会話は、Overview タブの Tags ペインと Trending tags ペインにも表示されます。 タグを選択すると、Conversations タブをそのタグでフィルターできます。