에이전트 인사이트 보기

CoreWeave Agent Lens는 에이전트가 처리하는 모든 턴을 분류한 뒤, 그 결과를 Insights 탭에서 Agent failures와 User intents라는 두 가지 보고서로 묶어 보여 줍니다. 각 보고서에서는 선택한 기간 동안 범주별 턴 추이를 차트로 확인할 수 있으며, 유사한 턴끼리 묶인 주요 클러스터의 요약, 범주별 영향 메트릭, 그리고 각 범주와 클러스터의 실제 예시 턴도 함께 제공됩니다. Insights를 사용하면 대화를 하나하나 읽어 보지 않고도 사용자가 가장 많이 요청하는 것은 무엇인지, 에이전트가 어디에서 실패하는지, 배포한 변경 사항이 상황을 개선했는지 아니면 악화시켰는지 파악할 수 있습니다.

​

인사이트 보기

Agent Lens에서 인사이트를 보려면 다음 단계를 따르세요.

1. CoreWeave Forge로 이동한 다음 제품 메뉴에서 Agent Lens를 선택하세요.
2. 프로젝트를 선택하세요. Agent Lens는 가장 최근에 사용한 프로젝트를 엽니다. 프로젝트를 전환하려면 사이드 메뉴 상단의 프로젝트 선택기를 사용하세요.
3. Agent Lens 사이드 메뉴에서 Insights를 선택하세요.

Insights 탭에는 한 번에 하나의 리포트가 표시됩니다. 페이지 상단의 Agent failures/User intents 전환 버튼으로 리포트를 전환하세요. 리포트의 기본 기간은 최근 30일입니다. 기간을 변경하려면 오른쪽 상단의 시간 범위 컨트롤을 선택한 다음 Last hour부터 Last 30 days까지의 사전 설정 중 하나를 고르거나 Choose date range를 선택하세요. 리포트 범위를 더 좁히려면 Filters를 선택하세요. Agent Lens는 주기적으로 유사한 턴을 클러스터로 그룹화합니다. 페이지 제목 아래에는 마지막 클러스터링 시점이 표시됩니다(예: Last clustered 2 days ago). 첫 번째 클러스터링 run이 완료되기 전까지는 No completed clustering run이 표시됩니다. 모든 리포트는 동일한 레이아웃으로 구성됩니다.

• 시간별 턴 차트: 범주별 누적 형태로 표시되므로 급증이 특정 범주 하나에서 비롯되었는지, 모든 범주에서 동시에 발생했는지 확인할 수 있습니다.
• Top clusters: 유사한 턴으로 이루어진 클러스터 중 가장 흔한 클러스터를 보여 주는 Card 모음입니다. 각 Card에는 자동 생성된 클러스터 이름, 클러스터가 나타내는 패턴에 대한 설명, 클러스터가 속한 범주, 해당 대화를 여는 View conversations 링크가 있습니다. 이 섹션은 선택한 기간 내에서 Agent Lens가 충분한 턴을 클러스터링한 후에 표시됩니다.
• 범주 목록: 각 범주와 해당 범주가 차지하는 턴 비율이 표시됩니다. 범주를 선택하면 세부 정보를 확인하고, 범주를 펼쳐 포함된 클러스터를 볼 수 있습니다.
• 선택한 범주의 Impact Card: 다음 메트릭이 포함됩니다.

  메트릭	설명
  Turns	범주에 부여된 턴 수입니다.
  Conversations	해당 턴이 포함된 대화 수입니다.
  Share of turns	분류된 전체 턴 중 해당 범주의 턴이 차지하는 비율입니다.
  Frustrated turns	해당 범주의 턴 중 사용자가 불만을 느낀 것으로 보이는 턴의 비율입니다.
  Failed turns	User intents 리포트에만 표시되며, 해당 범주의 턴 중 Agent Lens가 문제나 실패를 감지한 턴의 비율입니다.
  Avg. time / turn	해당 범주에서 에이전트가 턴 하나를 완료하는 데 걸린 평균 시간입니다.
  Avg. cost / turn	해당 범주에서 턴 하나에 드는 평균 예상 비용입니다.

• 선택한 범주의 예시 턴: 클러스터별로 그룹화되어 표시됩니다.

선택한 범주로 필터링된 Conversations 탭을 열려면 View all conversations를 선택하세요. 범주에 속한 턴과 유사한 턴을 찾는 태그를 만들려면 범주의 작업 메뉴(…)를 선택한 다음 Tag conversations like these를 선택하세요. 태그에 대한 자세한 내용은 맞춤형 태그 만들기를 참조하세요.

​

Agent failures

Agent failures 보고서는 Agent Lens가 문제나 실패를 감지한 턴을 모아서 보여줍니다. 실패가 없는 턴은 보고서에 포함되지 않습니다. 차트 제목은 Failed turns이며, 차트의 범주는 실패 범주에서 설명하는 실패 유형입니다.

​

실패 범주

Agent Lens는 실패한 턴을 다음과 같은 고정 범주로 분류합니다. 도구 실패나 시스템 오류 같은 범주는 프롬프트 외부의 문제를 가리키는 반면, 도구 오용, 요구 사항 누락, 컨텍스트 손실은 대개 에이전트의 지침이나 도구 정의에 문제가 있음을 나타냅니다.

​

User intents

User intents 리포트는 사용자가 무엇을 하려 했는지를 기준으로 턴을 그룹화합니다. 이를 통해 에이전트가 실제로 어떤 용도로 쓰이는지, 어떤 유형의 요청이 제대로 처리되지 않는지 파악할 수 있습니다. 실패한 턴뿐 아니라 모든 턴이 분류됩니다. 차트 제목은 User turns이며, 각 범주에 대한 설명은 의도 범주를 참조하세요. 이 리포트의 Impact Card에는 Failed turns 메트릭이 추가됩니다. 자주 나타나는 의도에서 실패율이 높다면, 개선을 통해 사용자에게 도움을 줄 수 있다는 가장 직접적인 시그널입니다.

​

의도 범주

Agent Lens는 턴을 다음과 같은 고정된 범주로 분류합니다. 보충 설명 또는 수정, 문제 보고, 부정적 피드백 턴의 비율이 늘고 있다면, 실패 보고서에 별다른 문제가 보이지 않더라도 에이전트의 첫 응답이 사용자의 의도를 제대로 파악하지 못하고 있을 가능성이 높습니다.