Overview에서 에이전트 활동 보기
Overview 탭은 프로젝트 수준 메트릭을 보여 주는 대시보드입니다. 개별 대화를 열어 보기 전에 이 탭에서 에이전트가 정상적으로 동작하는지 확인하세요. 에이전트가 처리한 트래픽 양, 오류와 도구 실패가 몰리는 지점, 발생한 비용, 지연 시간 추이를 한눈에 파악할 수 있습니다. 기본적으로 모든 패널에는 최근 30일간의 활동이 표시됩니다. 기간을 변경하려면 오른쪽 상단의 기간 컨트롤을 선택하세요.
- Activity: 기간 윈도우 전체의 일별 총 대화 수와 턴 수입니다. 이 패널에서 트래픽 급증, 한산한 기간, 대화 길이의 변화를 파악할 수 있습니다.
- Errors: 오류 상태인 span이 하나 이상 포함된 일별 대화 수와 턴 수입니다.
- Conversations with errors: 오류가 가장 많은 대화를 보여 주는 table로, 대화 ID, 오류 수, 대화가 마지막으로 확인된 시점이 표시됩니다. 대화 ID를 선택하면 Conversations 탭에서 해당 대화가 열리므로 실패한 턴을 찾을 수 있습니다.
- Tags: 기간 윈도우 동안 각 태그가 적용된 빈도를 분포로 나타냅니다. 가장 많이 사용된 태그는 이름으로 표시되고 나머지는 Other로 묶입니다. LLM 평가자가 적용한 태그와 수동으로 적용한 태그가 모두 집계되며, 나중에 제거된 태그는 집계되지 않습니다. 프로젝트에 태그를 추가하려면 맞춤형 태그 만들기를 참조하세요.
- Trending tags: 같은 길이의 이전 윈도우와 비교해 빈도가 가장 크게 변한 태그입니다. table에는 각 태그, 현재 윈도우의 개수, 이전 윈도우 대비 변화량이 표시됩니다. 여기서 급격히 증가한 태그는 대개 선택해서 Conversations 탭에서 살펴볼 만한 동작을 나타냅니다.
- Cost: 에이전트의 LLM Call에 대한 일별 총 예상 비용(미국 달러)을 모델별로 나누어 보여 줍니다. Agent Lens는 각 LLM span에 기록된 토큰 사용량과 모델 ID로 비용을 산출하므로, 사용량 정보가 없거나 알 수 없는 모델을 사용한 span은 이 차트에 반영되지 않습니다.
- Tools with errors: Call이 가장 자주 실패한 도구를 보여 주는 table로, 도구 이름, 실패한 Call 수, 해당 도구의 전체 Call 대비 실패율(%)이 표시됩니다. 실패율이 높은 항목은 강조 표시됩니다. 행을 선택하면 해당 도구를 호출한 대화로 필터링된 Conversations 탭이 열립니다.
- Tools: 기간 윈도우 동안 각 도구의 총 Call 수를 순위별 막대 차트로 보여 줍니다. 에이전트가 주로 사용하는 도구를 확인하고, 더 이상 호출되지 않는 도구를 찾아낼 수 있습니다.
- Latency: 일별 턴 응답 시간을 p50 및 p95 시리즈로 보여 줍니다. p50 선은 턴 완료에 걸리는 일반적인 시간을, p95 선은 응답이 가장 느린 사용자가 체감하는 시간을 나타냅니다.
- Agents: 각 에이전트가 처리한 턴 수를 순위별 막대 차트로 보여 줍니다. 같은 프로젝트를 공유하는 에이전트 간 트래픽을 비교할 수 있습니다.
- Providers:
openai등 각 LLM 공급자에 대한 모델 Call 수입니다. - Models: 각 모델에 대한 모델 Call 수입니다. 날짜가 포함된 모델 버전을 포함해 에이전트가 실제로 호출하는 모델을 확인할 수 있습니다.
에이전트 대화 보기
에이전트의 대화를 자세히 보려면 다음 단계를 따르세요.- CoreWeave Forge로 이동한 다음 App Launcher에서 Agent Lens를 선택하세요.
- 사이드 메뉴 상단의 프로젝트 선택기에서 프로젝트를 선택하세요. 기본적으로 Agent Lens는 가장 최근에 사용한 프로젝트를 엽니다.
- Agent Lens 사이드 메뉴에서 Conversations를 선택하세요.
대화 턴, span 및 타임라인 보기
Conversations 탭에서 대화를 선택하면 해당 대화의 자세한 정보를 확인할 수 있습니다. 대화를 선택하면 드로어가 열리며, 이 드로어에는 선택한 대화에 대한 정보가 세 개의 탭으로 나뉘어 표시됩니다.- Thread: 에이전트와 사용자 간의 대화에서 캡처된 모든 턴을 도구 Call 및 추론 단계와 함께 표시합니다. 또한 각 턴의 오른쪽 상단에 있는 아이콘을 선택하여 턴마다 반응, 메모, 태그를 직접 추가할 수 있습니다.
- Spans: 에이전트가 수행한 개별 오퍼레이션인 span을 트리 형태로 구성하여 대화를 표시합니다. 왼쪽 패널에는 대화와 그 아래의 각 턴, 그리고 각 턴에 속한 span이 나열됩니다. 대화 및 턴 행에는 소요 시간과 비용이 표시되고, 오류가 있는 턴에는 오류 수도 함께 표시됩니다. span 행에는 오퍼레이션 이름(예: 모델 Call의 경우
chat gpt-5.6, 도구 Call의 경우execute_tool shell)과 소요 시간이 표시되며, 모델 Call에는 토큰 수와 모델도 표시됩니다. 행을 선택하면 오른쪽 패널에서 세부 내용을 확인할 수 있으며, 오른쪽 패널에는 두 개의 하위 탭이 있습니다.- Overview: 선택한 항목의 주요 세부 정보를 표시합니다. 대화를 선택한 경우 대화 ID, 턴 수, 소요 시간, 비용, 마지막 활동이 표시됩니다. span을 선택한 경우 span ID, 이름, 소요 시간, 시작 및 종료 시간, 도구 또는 공급자, 상태, span의 입력과 출력이 표시됩니다.
- Raw: span의 속성을 JSON 형식으로 표시합니다. 계측을 통해 실제로 어떤 데이터가 전송되었는지 정확히 확인할 때 유용합니다.
- Timeline: 각 턴을 폭포 차트로 표시합니다. 턴에 속한 span은 턴 시작 시점을 기준으로 하는 시간 축 위에 가로 막대로 그려집니다. 막대의 위치는 span의 시작 시점을, 막대의 너비는 실행 시간을 나타내며, 중첩된 span은 상위 span 아래 행에 표시됩니다.