시작하기
프로젝트의 에이전트 뷰를 열려면:- Forge로 이동하여 프로젝트를 선택하세요.
- 사이드바 메뉴에서 Agents를 선택하여 프로젝트에 저장된 모든 에이전트 대화를 확인하세요.
대시보드 탭
대시보드 탭은 프로젝트 전체의 에이전트 활동을 한눈에 보여주는 개요 화면입니다. 한눈에 파악할 수 있도록 설계되어 있어, 팀에서는 특정 에이전트나 대화로 들어가기 전에 일일 헬스 체크의 시작점으로 활용합니다.
상단에는 선택한 time window selector에 대한 요약 Card로 Spans, 대화, Tokens, Cost, Error rate, Agents 합계가 표시됩니다. Card 아래에는 시계열 차트가 시간에 따른 span, 대화, token, cost 볼륨과 오류 수, 시그널 활동을 표시합니다. 하단 행에서는 사용량 기준 상위 도구, 에이전트, 모델, 공급자를 분석합니다. 왼쪽에는 최근 대화 또는 span 목록이 대화와 Spans 사이에서 표시/숨기기 가능하며, time window selector가 모든 패널에 반영되는 기간을 제어합니다.
Agents 탭
Agents 탭은 이 프로젝트에 트레이스를 로깅한 모든 에이전트의 개요를 제공합니다. 이를 사용하여 활성 에이전트를 파악하고 에이전트 간 지연 시간과 오류율을 비교할 수 있습니다. 또한 개별 대화로 들어가기 전에 주의가 필요한 에이전트를 파악하는 데 도움이 됩니다.
다음과 같은 시나리오에 유용합니다:
- 에이전트 플릿 모니터링. Card 그리드를 통해 개별 대화를 열지 않고도 모든 에이전트의 지연 시간과 오류율을 한 번에 비교할 수 있습니다. 한 Card에서 지연 시간 급증이나 새로 빨간색으로 표시된 오류율은 조사할 가치가 있는 회귀를 나타냅니다.
- 오래된 에이전트 파악. Last seen으로 정렬하면 최근에 활동을 기록하지 않은 에이전트를 강조 표시합니다. 이는 배포가 활성 상태인지 확인하거나 예기치 않게 트레이스 로깅을 중단한 에이전트를 발견하는 데 유용합니다.
- 버전 비교. 각 Card의 버전 수는 해당 에이전트의 서로 다른 버전이 배포된 횟수를 보여줍니다. 높은 버전 수와 함께 상승하는 오류율은 최근 배포에서 도입된 회귀를 나타낼 수 있습니다.
- 에이전트 드릴다운. Card를 클릭하면 해당 에이전트의 상세 패널이 열리며, 여기서 대화나 span으로 이동할 수 있습니다:
에이전트 Card
각 에이전트는 다음을 보여주는 Card로 표시됩니다:에이전트 찾기 및 정렬
에이전트 검색 및 필터 필드를 사용하여 이름으로 에이전트를 찾으세요. 정렬 드롭다운(기본값: Last seen)을 사용하여 그리드를 재정렬하세요. 사용 가능한 정렬 옵션은 다음과 같습니다:- Last seen: 가장 최근에 활성 상태인 에이전트가 먼저 표시됩니다.
- Most invocations: 가장 높은 호출 수 순으로 표시됩니다.
- Most input tokens: 가장 높은 토큰 소비량 순으로 표시됩니다.
- Most errors: 가장 높은 오류 수 순으로 표시됩니다.
대화 탭
대화 탭은 Agents 페이지에서 개별 에이전트 run을 탐색, 필터링 및 검사할 수 있게 해줍니다. 실패를 조사하고, 토큰 비용을 측정하며, run을 구성한 LLM Call과 도구 실행의 순서를 이해하는 데 사용하세요. 대화 전반에 걸쳐 에이전트가 말하고 수행한 내용에 대한 상위 수준의 질문의 경우, 대화 탭부터 시작하세요.
대화 table
대화 table은 대화당 한 행을 표시합니다. 기본적으로 다음 column이 표시됩니다:
Spans column은 또한 이벤트 타임라인과 동일한 event color를 사용하여 대화의 이벤트 시퀀스를 미리보는 색상으로 구분된 스트립을 렌더링합니다. 이를 통해 대화를 열지 않고도 대화가 도구 사용이 많은지, LLM 사용이 많은지, 또는 하위 에이전트 위임이 포함되었는지 한눈에 알 수 있습니다.
추가 column을 표시하거나 숨기려면 툴바에서 Columns를 클릭하세요.
Filters and time window
Filter 바를 사용하여 에이전트, 모델, 오류 status 또는 기타 속성으로 결과를 좁히세요. SDK로 agent spans에 stamp한 맞춤형 속성도 여기서 filterable합니다. 특정 속성의 특정 값으로 대화 목록을 filter할 수 있습니다. 맞춤형 속성을 자체 column으로 표시하려면 툴바에서 Columns를 클릭하세요. 이러한 속성을 설정하는 방법은 Set attributes and events on agent spans를 참조하세요. time window selector(1m, 1h, 6h, 24h, 7d 또는 30d)를 사용하여 해당 기간 내에 active한 대화로 목록을 제한하세요. 목록 위의 대화 volume histogram은 선택한 윈도우를 반영하도록 업데이트됩니다. 대화 목록의 column header 위에 마우스를 올리면 해당 column을 특정 값 또는 범위로 filter할 수 있습니다.에이전트 대화 상세
대화 행을 클릭하여 턴과 이벤트라는 두 개의 하위 패널이 있는 상세 패널을 여세요. 패널 헤더에는 에이전트 이름과 대화 ID가 표시되며, 요약(대화 요약 생성) 및 데이터셋에 추가 액션이 있습니다.
턴
대화 상세 턴 패널은 각 턴을 시간 순서대로 표시하며, 1부터 번호가 매겨집니다. 각 턴은 중간 응답 및 도구 Call의 수를 표시하며, 총 경과 시간을 표시합니다. 턴을 확장하여 전체 메시지 스레드를 확인하세요. Turn 내에서 메시지는 역할별로 그룹화됩니다. 사용자 메시지는 메시지 텍스트와 첨부된 미디어 또는 콘텐츠 레퍼런스를 표시합니다. assistant message는 다음을 표시합니다:- 에이전트 이름과 사용된 모델(예:
gpt-5.5-2026-04-23). - timestamp 및 duration.
- input 및 output token counts와 비용(예:
18823 in · 96 out · $0.0717). - 모델이 확장된 사고를 사용한 경우 확장 가능한 추론 섹션.
- 긴 responses의 경우 자동으로 접히는 response 텍스트.
이벤트
오른쪽의 이벤트 패널은 선택한 turn 내 이벤트 시퀀스를 나타내는 색상으로 구분된 스트립을 표시합니다. 이벤트 타임라인에서 각 세그먼트의 색상은 이벤트 유형을 나타냅니다.
이벤트 타임라인을 사용하여 turn이 어떻게 구성되었는지 빠르게 파악하세요. 예를 들어, 전체 message thread를 읽기 전에 LLM 중심인지, 도구 중심인지, 아니면 하위 에이전트 delegation이 포함되었는지 확인할 수 있습니다.
프로젝트에 시그널이 활성인 경우, 점수 섹션은 대화에 대한 메트릭을 제공합니다. 시그널 Scorer 이름, 0에서 1 사이의 전체 숫자 평점, 신뢰도 백분율, 그리고 점수에 기여한 개별 rubric point를 표시합니다. 각 rubric point도 자체 신뢰도를 표시합니다. 이를 통해 turn이 잘 점수화되었는지뿐만 아니라, 어떤 특정 rubric 기준이 통과하거나 실패했는지 이해할 수 있습니다.
Meta summary 섹션은 선택된 대화에 대한 aggregate statistics를 보여줍니다.
토큰 분석 섹션은 선택한 대화에 대한 캐시 및 추론 세부 정보를 보여줍니다.
Participants 섹션에는 대화에 참여한 에이전트와 모델이 나열됩니다. 멀티 에이전트 대화에서는 턴마다 다른 모델 이름이 표시될 수 있습니다.
에이전트 메시지를 데이터셋에 추가
Dataset에 에이전트 메시지를 추가하려면:
- 대화 세부 정보 패널 헤더에서 데이터셋에 추가를 클릭하여 데이터셋에 예시 추가 서랍을 엽니다.
- 데이터셋 선택에서 드롭다운을 사용하여 트레이스를 추가할 데이터셋을 선택합니다.
- 컨텍스트 선택에서 데이터셋에 추가할 메시지를 선택합니다. 다음을 클릭합니다.
- 선택 사항을 검토하고 데이터셋에 추가를 클릭합니다.
Spans tab
Spans 탭은 프로젝트의 모든 에이전트 활동에 걸쳐 기록된 개별 span을 모두 표시합니다. 대화 탭은 활동을 대화 수준 행으로 집계합니다. Spans 탭은 그 아래의 원시 오퍼레이션을 노출합니다: 각 LLM Call, 도구 실행, 에이전트 호출을 자체 행으로 표시합니다. 이를 사용하여 정확히 어떤 호출이 느렸는지, 어떤 모델이 예상치 못한 토큰을 소비했는지, 또는 어떤 도구 호출이 실패했는지 추적하세요.
Spans table
span table은 대화 table과 대부분의 column을 공유합니다 (에이전트, 모델, 도구, token counts, status). 이 뷰에 고유한 일부 column은 다음과 같습니다:
캐시 token breakdowns, 추론 tokens, LLM parameters, W&B run metadata에 대한 추가 column은 Columns 버튼을 통해 사용할 수 있습니다.
Spans 탭은 대화 tab이 제공하지 않는 오퍼레이션 수준의 정밀도가 필요할 때 가장 유용합니다:
- 비용이 많이 드는 call 식별. In 또는 Out tokens로 정렬하여 대화 수준의 합계가 아닌 개별 LLM Call이 비용을 유발하는지 확인하세요.
- 특정 오퍼레이션 유형 디버깅. 오퍼레이션으로 필터링하여 모든
execute_toolspan의 오류율을 확인하거나 특정 모델의 모든chatspan을 확인하세요. - truncation 조사.
max_tokens로 종료를 필터링하여 모델이 정상적으로 완료되지 않고 토큰 한도에 도달한 span을 찾으세요. - W&B run과 상관관계 분석. 기본적으로 숨겨진 column에 W&B run ID와 run step이 표시되어 특정 span을 W&B의 트레이닝 또는 evaluation run에 연결할 수 있습니다.
트레이스 그룹
행을 클릭하면 해당 트레이스를 선택하고 동일한 트레이스 ID를 공유하는 다른 모든 span을 강조 표시합니다. 이는 하나의 에이전트 호출의 일부로 실행된 전체 오퍼레이션 세트를 보여줍니다. 여기서의 그룹화는 대화가 아닌 트레이스별입니다. 즉, 하위 에이전트 위임이 포함된 경우 단일 대화에 여러 트레이스가 포함될 수 있습니다.에이전트 invocation 상세
Spans table에서 행을 클릭하면 선택한 트레이스의 전체 에이전트 invocation 데이터로 채워진 상세 패널이 열립니다. 상세 패널 상단에는 선택한 트레이스 내 모든 span의 wall-clock 위치와 상대적 지속 시간을 waterfall 형태로 정렬한 막대 차트가 표시됩니다. 부모 invocation은 전체 너비를 차지하고, 각 하위 span은 실제 지속 시간에 맞춰 크기가 조정된 색상 막대로 아래에 나타나며, 트레이스 시작부터의 밀리초 단위 시작 시간에 따라 배치됩니다. 타임라인을 사용하여 다음을 수행할 수 있습니다:- 가장 긴 오퍼레이션을 한눈에 파악하세요. 넓은 막대는 전체 지연 시간의 대부분을 차지한 span을 나타냅니다.
- 병렬성을 확인하세요. 겹치는 막대는 순차적으로 실행되지 않고 동시에 실행된 span을 나타냅니다.
- 임의의 span을 인라인으로 검사하세요. 타임라인의 막대를 클릭하면 해당 span의 input messages, output messages, token counts 및 기타 메타데이터가 뷰에 로드됩니다.
또는 상세 패널 헤더에서 Show trace tree 아이콘을 선택하여 하위 span을 계층적 trace tree로 볼 수도 있습니다.