> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 시그널로 에이전트 모니터링하기

> W&B Weave 시그널을 사용해 에이전트 턴을 평가하고 태그를 적용하여 프로덕션 환경의 품질 및 안전 문제를 파악하세요.

export const AgentLensBanner = ({href}) => <Tip>
    <strong>This workflow is also available in CoreWeave Agent Lens.</strong> Agent Lens is the Forge experience built for tracing, monitoring, and analyzing AI agents, with automated insights into agent failures and user intents. It uses the same trace data as Weights & Biases Weave, so the traces you already send appear there with nothing to migrate.{' '}
    <a href={href || '/products/agent-lens'}>{href ? 'See how to do this in Agent Lens' : 'Learn about Agent Lens'}</a>.
  </Tip>;

<AgentLensBanner href="/ko/products/agent-lens/tags/create-tag" />

W\&B Weave의 [Agents view](/ko/products/wandb/weave/guides/tracking/view-agent-activity)에서는 Signals 탭을 통해 에이전트 대화의 태그와 평점을 확인할 수 있습니다. 시그널은 품질 및 안전 문제를 드러내어 문제를 표시하고, 패턴을 찾아내며, 주의가 필요한 트레이스를 강조해 보여줍니다. 시그널을 사용하면 에이전트 응답의 품질을 자동으로 평가하거나, 사용자가 불만을 느끼는 순간을 감지하거나, NSFW 콘텐츠를 표시할 수 있습니다.

<h2 id="get-started">
  시작하기
</h2>

프로젝트의 시그널을 확인하려면 다음 단계를 따르세요.

1. [Forge](https://forge.coreweave.com/wandb)로 이동한 후 프로젝트를 선택하세요.
2. 사이드바 메뉴에서 **Agents**를 선택하면 프로젝트에 저장된 모든 에이전트 대화를 확인할 수 있습니다.
3. 탭 표시줄에서 **Signals**를 선택하세요.

<img src="https://mintcdn.com/coreweave-dbfa0e8d/3Dv_sw2eg8feUJlx/products/wandb/weave/_media/agent-view-signals.png?fit=max&auto=format&n=3Dv_sw2eg8feUJlx&q=85&s=8c6cbeb0985f1892769e14cbf70fb16c" alt="에이전트의 점수가 매겨진 턴 목록이 표시된 Signals 탭" width="2011" height="603" data-path="products/wandb/weave/_media/agent-view-signals.png" />

<h2 id="key-terms">
  주요 용어
</h2>

* **턴**: 사용자와 에이전트가 한 번 주고받는 대화입니다.
* **평점**: 일치하는 span에 부여되는 0.0에서 1.0 사이의 숫자 점수입니다.
* **태그**: "user-frustration" 또는 "nsfw"와 같이 일치하는 span에 부여되는 레이블입니다.

<h2 id="signals-table">
  Signals table
</h2>

Signals 탭에는 에이전트의 점수가 매겨진 턴을 보여주는 table이 표시됩니다. 각 행은 시그널 모니터 중 하나의 출력을 나타냅니다. 기본적으로 다음 열이 표시됩니다.

| 열 | 설명 |
| - | - |
| **유형** | 점수가 매겨지는 대화의 부분입니다. `turn`만 지원됩니다. |
| **Scorer** | 이 점수를 생성한 시그널의 이름입니다. |
| **마지막 메시지** | 점수가 매겨진 턴의 마지막 메시지 미리보기이며, 아래에 역할이 표시됩니다. |
| **에이전트** | 점수가 매겨진 턴과 연결된 에이전트입니다. |
| **점수** | 0.0에서 1.0 사이의 숫자 평점 또는 일치하는 경우 태그입니다. 1은 좋음, 0은 나쁨을 나타내는 일관된 평점을 사용하는 것이 좋지만, Scorer는 사용자가 정의한 어떤 척도든 사용할 수 있습니다. |
| **추세** | 시간에 따른 이 시그널의 추세를 보여주는 인라인 차트를 표시합니다. 평균값(평점의 경우) 또는 개수(태그의 경우)를 보여줍니다. |
| **시간** | 시그널에 점수가 매겨진 시간입니다. |

시간 윈도우 선택기와 **필터** 표시줄을 사용하여 Scorer, 에이전트, 점수 범위 또는 기간별로 결과를 좁히세요. **점수량** 타임라인은 Weave가 평점을 매기거나 태그를 지정한 시그널의 개수를 보여줍니다. table에 표시된 행을 반영하며, 타임라인에서 드래그하여 필터링할 수 있습니다.

<h2 id="create-a-new-signal">
  새 시그널 만들기
</h2>

에이전트의 턴 점수화를 시작하려면 하나 이상의 시그널을 만드세요. **+ New signal**을 선택하여 **Create signals** 패널을 여세요.

패널에서는 사용 가능한 시그널을 두 가지 범주로 분류합니다:

* **태그**: 일치하는 span에 `user-frustration` 또는 `nsfw`와 같은 레이블을 자동으로 적용합니다. 태그를 사용하여 span을 분류하거나 원치 않는 동작을 표시하세요. 시그널 UI에는 하나 이상의 태그와 일치한 span의 행만 표시되므로, 출력이 보이지 않더라도 태그 시그널이 성공적으로 실행되었을 수 있습니다.
* **평점**: 일치하는 span에 0부터 1까지의 점수를 부여합니다. 평점을 사용하여 에이전트 성능을 평가하고 시간에 따른 개선 정도를 측정하세요.

<h3 id="preset-signals">
  사전 설정 시그널
</h3>

각 범주에는 바로 선택할 수 있는 사전 설정 템플릿이 제공됩니다. 두 범주에서 원하는 사전 설정을 조합하여 선택한 다음, **시그널 \[*N*]개 만들기**를 선택하여 기본 설정으로 한 번에 모두 생성하세요.

<h4 id="tags-presets">
  태그 사전 설정
</h4>

| 템플릿 | 감지 대상 |
| - | - |
| **사용자 불만** | 사용자가 좌절감, 분노, 혼란 또는 불만의 징후를 보입니다. |
| **악의적 의도(탈옥)** | 사용자가 시스템 탈옥, 제한된 콘텐츠 추출, 프롬프트 인젝션, 역할극 취약점 악용 등을 시도하거나, 그 밖의 방법으로 에이전트가 가드레일을 무시하도록 조종하려 합니다. |
| **NSFW** | 사용자 입력 또는 에이전트 출력에 노골적인 성적 콘텐츠, 잔혹한 폭력 묘사 또는 직장 환경에 부적절한 기타 내용이 포함되어 있습니다. |
| **낮은 품질의 응답** | 에이전트 출력이 사실과 다르거나, 주제에서 벗어나거나, 회피적이거나, 반복적이거나, 거부 시 근거가 부족하거나, 그 밖의 이유로 사용자의 요청에 제대로 응답하지 못합니다. |

<h4 id="ratings-presets">
  평점 사전 설정
</h4>

| 템플릿 | 평가 대상 |
| - | - |
| **User Satisfaction** | 사용자가 만족했는지(긍정적인 피드백, 후속 참여, 작업 완료) 아니면 불만족했는지(불만 제기, 반복적인 질문 바꿔 말하기, 이탈)를 평가합니다. |
| **User Good Intent** | 사용자의 의도가 무해하고 정당한지, 아니면 탈옥 시도, 유해한 요청, 프롬프트 인젝션에 해당하는지를 평가합니다. |
| **Safe-for-Work** | 대화가 어떤 업무 환경에서도 적절한지, 아니면 선정적이거나 폭력적이거나 그 밖에 직장에서 부적절한 콘텐츠를 포함하는지를 평가합니다. |
| **Response Quality** | 에이전트의 응답이 정확하고 완전하며 사용자의 요청에 직접적으로 부합하는지를 평가합니다. |

<h3 id="custom-signals">
  맞춤형 시그널
</h3>

비어 있는 Signals 탭에서 맞춤형 태그 시그널을 만들려면 [맞춤형 시그널 만들기](/ko/products/wandb/weave/guides/tracking/create-custom-signal)를 참조하세요.

<h2 id="manage-and-edit-signals">
  시그널 관리 및 편집
</h2>

생성한 시그널이 하나 이상 있으면 툴바에서 활성 시그널 버튼을 선택하세요. 이 버튼에는 **1 active signals**처럼 활성 시그널 수가 표시되며, 선택하면 프로젝트의 모든 활성 시그널 목록이 담긴 패널이 열립니다. 여기에서 시그널을 켜거나 끌 수 있고, 삭제하거나 편집할 수도 있습니다. 편집기에는 맞춤형 시그널과 동일한 설정 필드가 표시됩니다.

<h2 id="troubleshoot-signals">
  시그널 문제 해결
</h2>

시그널 활동은 프로젝트 사이드바의 **Traces**에 표시됩니다. 예상한 시그널 일치 항목이 표시되지 않으면 **Traces** table을 사용하여 디버깅하세요. 예를 들어, Scorer 이름과 **Status** 열에서 오류 상태를 확인하세요. Scorer 실행 오류가 발생하면 **Status**에 빨간색 표시와 함께 오류 세부 정보가 표시됩니다.


## Related topics

- [기본 제공 시그널로 모니터링하기](/ko/products/wandb/weave/guides/evaluation/monitors.md)