エージェントのインサイトを表示する

CoreWeave Agent Lens は、エージェントが処理するすべてのターンを分類し、その結果を Insights タブの 2 つのレポート (Agent failures と User intents) にまとめます。各レポートには、選択した期間における各カテゴリのターン数の推移がチャートで表示されます。また、類似したターンからなる主要なクラスターの概要、各カテゴリの影響メトリクス、そしてすべてのカテゴリとクラスターについての実際のターンの例も一覧で確認できます。 Insights を使用すると、会話を 1 つずつ読まなくても、ユーザーが最も多く求めていること、エージェントが失敗している箇所、リリースした変更によって状況が改善したか悪化したかを把握できます。

​

インサイトを表示する

Agent Lens でインサイトを表示するには、次の手順を実行します。

1. CoreWeave Forge にアクセスし、プロダクトメニューから Agent Lens を選択します。
2. project を選択します。Agent Lens では、最後に使用した project が開きます。project を切り替えるには、サイドメニュー上部の project セレクターを使用します。
3. Agent Lens のサイドメニューで Insights を選択します。

Insights タブには、一度に 1 つの report が表示されます。report を切り替えるには、ページ上部の Agent failures / User intents の切り替えを使用します。デフォルトでは、report の対象期間は過去 30 日間です。期間を変更するには、右上の期間コントロールを選択し、Last hour から Last 30 days までのプリセットを選ぶか、Choose date range を選択します。report をさらに絞り込むには、Filters を選択します。 Agent Lens は、類似したターンを定期的にクラスターにまとめます。ページタイトルの下には、最後にクラスタリングが実行された時期が表示されます (例: Last clustered 2 days ago) 。最初のクラスタリングが完了するまでは、No completed clustering run と表示されます。 どの report も、レイアウトは共通です。

• ターンの推移を示すチャート。カテゴリ別の積み上げ表示になっているため、急増が特定のカテゴリによるものか、全カテゴリで同時に起きたものかを確認できます。
• Top clusters。類似したターンのクラスターのうち、特に多いものをカードで表示します。各カードには、自動生成されたクラスター名、そのクラスターが表すパターンの説明、所属カテゴリ、該当する会話を開く View conversations リンクが表示されます。このセクションは、選択した期間内で Agent Lens が十分な数のターンをクラスタリングすると表示されます。
• カテゴリの一覧。各カテゴリがターン全体に占める割合が表示されます。カテゴリを選択すると、詳細を確認したり、展開して含まれるクラスターを表示したりできます。
• 選択したカテゴリの Impact カード。次のメトリクスが表示されます。

  メトリクス	説明
  Turns	カテゴリに割り当てられたターンの数。
  Conversations	それらのターンを含む会話の数。
  Share of turns	分類済みの全ターンに占める、カテゴリのターンの割合。
  Frustrated turns	カテゴリのターンのうち、ユーザーが不満を感じているとみられるターンの割合。
  Failed turns	User intents report のみ。カテゴリのターンのうち、Agent Lens が問題または失敗を検出したターンの割合。
  Avg. time / turn	カテゴリ内のターン 1 つの完了にエージェントが要した平均時間。
  Avg. cost / turn	カテゴリ内のターン 1 つあたりの推定コストの平均。

• 選択したカテゴリの Example turns。クラスターごとにまとめて表示されます。

選択したカテゴリで絞り込んだ Conversations タブを開くには、View all conversations を選択します。カテゴリ内のターンと類似したターンを検索するタグを作成するには、カテゴリのアクションメニュー (…) を選択し、Tag conversations like these を選択します。タグの詳細については、カスタムタグを作成するを参照してください。

​

Agent failures

Agent failures report には、Agent Lens が問題または失敗を検出したターンがグループ化されて表示されます。失敗のないターンは report に含まれません。チャートのタイトルは Failed turns で、カテゴリには 失敗カテゴリ で説明している失敗のタイプが使用されます。

​

失敗カテゴリ

Agent Lens は、失敗したターンを次の固定カテゴリのいずれかに分類します。 ツールの失敗 や システムエラー などのカテゴリは、プロンプト以外に原因がある問題を示します。一方、ツールの誤用、要件の見落とし、コンテキストの喪失 は、多くの場合、エージェントへの指示またはツール定義に問題があることを示します。

​

User intents

User intents レポートでは、ユーザーが何をしようとしていたかに基づいてターンをグループ化します。これにより、エージェントが実際にどのような用途で使われているか、またどのようなタイプのリクエストで問題が起きやすいかを把握できます。失敗したターンだけでなく、すべてのターンが分類の対象です。チャートのタイトルは User turns です。カテゴリについては インテントのカテゴリ を参照してください。 このレポートの Impact カードには、Failed turns メトリクスが追加されます。よくあるインテントで失敗率が高いことは、改善によってユーザーの役に立てる可能性を示す最も直接的なシグナルです。

​

インテントのカテゴリ

Agent Lens は、各ターンを次の固定カテゴリのいずれかに分類します。 Clarification or correction、Issue report、Negative feedback のターンの割合が増えている場合、失敗の report に目立った変化がなくても、エージェントの最初の応答が的外れになっている可能性が高いと考えられます。