> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.
# 기본 제공 시그널로 모니터링하기
> W&B는 프로덕션 환경의 에이전트를 위한 기본 제공 점수화 솔루션을 제공합니다
이 페이지는 프로덕션 트래픽을 모니터링하던 이전 방식을 다룹니다. 새로 구현하는 경우에는 Weave for Agents의 **Signals**를 사용하세요. 자세한 내용은 [에이전트 시그널 보기](/ko/products/wandb/weave/guides/tracking/view-agent-signals)를 참조하세요.
지연 시간, 토큰 수, 비용 같은 표준 시스템 메트릭만으로는 에이전트의 동작을 온전히 파악할 수 없습니다. 개별 트레이스를 검사하면 깊이 있는 인사이트를 얻을 수 있지만, 실제 운영 환경에서 생성되는 수백만 개의 트레이스를 모두 이렇게 살펴볼 수는 없습니다.
시그널은 프로덕션 환경의 에이전트를 동작 기반으로 자동 점수화하여, 이 문제를 상위 수준에서 해결하는 모니터링 솔루션입니다.
* 자동 점수화: 들어오는 모든 프로덕션 트레이스가 자동으로 처리되며, 일반적인 품질 문제와 오류를 기준으로 점수가 매겨집니다.
* 인프라: CoreWeave 컴퓨팅과 CoreWeave GPU에서 처리되므로 수백만 개의 트레이스로도 확장할 수 있습니다.
프로덕션 환경에서 시그널을 사용하면 다음과 같은 이점이 있습니다.
* 동작에 대한 인사이트를 얻을 수 있습니다. 시스템 메트릭을 넘어 에이전트가 할루시네이션을 일으키는지, 대화 패턴을 따르지 못하는지, 근거 자료에 기반하지 않은 답변을 하는지 파악할 수 있습니다.
* 연구 주기를 단축할 수 있습니다. 시그널이 생성한 점수와 실패 분석을 활용해 약점을 파악하고, 이를 모델 개선, 데이터 어노테이션, 강화 학습 연구에 활용할 수 있습니다.
사용 가능한 시그널
W\&B Weave는 기본 제공 시그널이 포함된 모니터를 제공합니다. 기본 제공 시그널은 사전 설정된 Scorer로, 별도의 맞춤형 설정 없이도 프로덕션 트레이스를 평가하여 일반적인 품질 문제와 오류를 감지합니다. 각 기본 제공 시그널은 벤치마크로 검증된 LLM 프롬프트로 트레이스를 분류하고, 감지된 문제를 쉼표로 구분된 태그 형태로 저장합니다.
시그널은 [Serverless Inference](/ko/products/inference/serverless) 모델로 트레이스를 평가하므로 외부 API 키가 필요하지 않습니다.
W\&B Weave는 13개의 사전 설정 시그널을 제공하며, 이는 두 그룹으로 나뉩니다.
품질 시그널
품질 시그널은 성공한 루트 수준 트레이스의 출력 품질 및 안전성 문제를 평가합니다.
| 시그널 | 감지 대상 |
| - | - |
| **Hallucination** | 제공된 입력 컨텍스트와 모순되는 사실이나 주장을 지어낸 경우 |
| **Low quality** | 형식이 부실하거나, 성의가 부족하거나, 내용이 불완전한 응답 |
| **User frustration** | 반복적인 질문, 부정적인 감정, 불만 제기 등 사용자 불만의 징후 |
| **Jailbreaking** | 안전 지침을 우회하려는 프롬프트 인젝션 및 탈옥 시도 |
| **NSFW** | 입력 또는 출력에 포함된 선정적, 폭력적이거나 기타 부적절한 콘텐츠 |
| **Lazy** | 지나치게 짧은 답변, 도움 거부, 작업 미루기 등 성의 없는 응답 |
| **Forgetful** | 대화 앞부분의 컨텍스트를 활용하지 못하고 앞서 언급된 사실이나 지시를 무시하는 경우 |
오류 시그널
오류 시그널은 실패한 트레이스를 근본 원인별로 분류하여 인프라 및 애플리케이션 문제를 파악하고 해결할 수 있도록 도와줍니다.
| 시그널 | 감지 대상 |
| - | - |
| **Network Error** | DNS 실패, timeout, 연결 재설정 등의 연결 문제 |
| **Ratelimited** | HTTP `429` 응답, 할당량 소진, 업스트림 API의 스로틀링 |
| **Request Too Large** | 컨텍스트 윈도우 초과 등 크기 또는 토큰 한도를 초과한 요청 |
| **Bad Request** | 서버가 요청을 거부한 클라이언트 측 오류(`429`를 제외한 `4xx`) |
| **Bad Response** | 원격 서비스가 반환한 유효하지 않거나, 예상치 못했거나, 사용할 수 없는 응답(`5xx`) |
| **Bug** | `KeyError`, `TypeError`, 로직 오류 등 애플리케이션 코드의 결함 |
시그널 작동 방식
각 시그널은 LLM-as-a-judge 방식으로 트레이스를 분류합니다.
* **트레이스 선택**: 품질 시그널은 성공한 루트 수준 트레이스를 평가하고, 오류 시그널은 실패한 트레이스를 평가합니다. Weave는 하위 span과 중간 Call에는 점수를 매기지 않습니다.
* **프롬프트 구성**: Weave는 트레이스 메타데이터, 입력, 출력, 예외 세부 정보(있는 경우), 오퍼레이션의 소스 코드를 포함한 프롬프트를 구성합니다. 그런 다음 감지할 특정 문제에 대한 지침이 담긴 시그널의 분류기 프롬프트를 덧붙입니다.
* **LLM 점수화**: 각 시그널마다 Serverless Inference 모델이 이진 분류(트레이스에 해당 문제가 있는지 여부)를 수행합니다. 감지된 문제는 쉼표로 구분된 문자열 태그로 반환됩니다(예: `"Low-quality, User-frustration, Forgetful"`).
같은 그룹(품질 또는 오류)의 여러 시그널이 활성화되어 있으면 Weave는 이 시그널들을 하나의 LLM Call로 묶어 처리합니다. 모델은 활성화된 모든 분류기를 한 번에 평가하고 각 분류기의 결과를 반환합니다.
모니터 페이지에서 시그널 추가하기
시그널을 추가하면 자동 점수화가 활성화되어 Weave가 새로 들어오는 프로덕션 트레이스를 해당 시그널의 기준에 따라 평가합니다. 시그널을 활성화하려면 다음 단계를 따르세요.
1. [Forge](https://forge.coreweave.com/wandb)로 이동한 다음 Weave 프로젝트를 여세요.
2. Weave 프로젝트 사이드바에서 **모니터**를 선택하세요.
3. 모니터가 활성화되지 않은 프로젝트에 시그널을 추가하려면 시그널 카드를 클릭하여 체크박스를 선택한 다음 **Setup 모니터**를 클릭하세요.
4. 기존 모니터에 시그널을 추가하려면 **모니터** 페이지 오른쪽 상단에서 **Browse signals**를 선택하세요. **Add signals** 드로어가 열리고, 사용 가능한 시그널이 범주별(예: Quality classifiers, Error classifiers)로 묶여 체크박스와 함께 표시됩니다. 시그널을 개별적으로 선택하거나, **Enable all**로 그룹 전체를 선택하거나, **Create custom signal**을 선택할 수 있습니다. 그런 다음 드로어 하단에서 **Add signals**를 선택하세요.
시그널을 추가하면 Weave가 수신되는 트레이스의 점수를 자동으로 매깁니다.
활성 시그널 관리
시그널을 실행한 후에는 활성 상태인 시그널을 확인하거나 더 이상 필요하지 않은 시그널을 끌 수 있습니다. 활성 시그널을 확인하거나 제거하려면 다음 단계를 따르세요.
1. Monitors 페이지에서 **Manage signals** () 버튼을 선택하세요. 드로어가 열리고 현재 활성 상태인 모든 시그널이 범주별로 그룹화된 목록이 표시됩니다.
2. 비활성화할 시그널에 마우스를 올린 다음 **Remove signal** () 버튼을 선택하세요.
시그널을 제거하면 새 트레이스에 대한 점수화가 중지됩니다. 해당 시그널로 생성된 기존 점수는 Weave에 그대로 보존됩니다.
기본 제공 시그널 사용하기
시그널이 활성화되어 트레이스를 점수화하기 시작하면 Weave의 여러 위치에서 결과를 검토할 수 있습니다. Weave가 문제를 감지하면 알림을 받도록 설정할 수도 있습니다. 다음 섹션에서는 시그널 결과를 확인할 수 있는 위치와 결과에 따라 조치를 취하는 방법을 설명합니다.
Traces 페이지에서 태그가 지정된 Call 트레이스 확인하기
`@weave.op` 데코레이터를 사용해 개별 함수를 Op로 트레이스하면 Weave는 시그널 결과를 Call 객체의 피드백으로 저장합니다. 이 결과는 **Traces** 페이지에서 쿼리할 수 있습니다.
**Traces** 페이지의 **Signals** 열을 사용하면 트레이스에서 특정 동작을 찾아볼 수 있습니다. Signals 열에는 기준을 충족한 항목에 태그가 표시됩니다. 태그에 마우스를 올리면 점수의 신뢰도와 추론을 확인할 수 있습니다.
트레이스 table 툴바를 사용하면 특정 시그널을 트리거한 트레이스만 표시되도록 트레이스 table을 필터링할 수 있습니다.
Traces 페이지에서 시그널이 생성한 분류기 Call을 선택하고 **Trace Details view**를 살펴보면 시그널의 세부 정보를 더 확인할 수 있습니다. Call **Output** 아래의 `classifier_meta`에서 추론을 확인하세요. 예를 들어 다음 스크린샷은 `Low-quality`로 판정되고 신뢰도가 0.9인 `Quality-classifiers` 시그널과 해당 평점의 이유를 보여 줍니다.
프로젝트 대시보드에서 시그널 확인하기
프로젝트 단위로도 시그널을 검토할 수 있습니다.
1. 프로젝트 사이드바에서 **Project**를 선택하세요.
2. Project 대시보드 상단에서 **Weave** 탭을 선택하세요.
3. Weave 대시보드 패널에서 **Monitor Scores**를 찾으세요.
Monitor Scores 프로젝트 패널에서는 프로젝트에서 발생한 시그널을 시간대별 그래프로 확인할 수 있습니다.
시그널 알림 받기
UI에서 시그널을 검토하는 것 외에도, 시그널이 트리거되면 Weave에서 알림을 받을 수 있습니다. 에이전트의 성능이 특정 임곗값 아래로 떨어질 때 Slack 등의 도구로 팀에 알림을 보내는 자동 트리거를 설정할 수 있습니다.
시그널이 트리거될 때 알림을 받으려면 [자동화](/ko/products/wandb/weave/guides/evaluation/automations)를 설정하세요.
***
기본 제공 시그널로 충족되지 않는 특정 모니터링이 필요하다면 [맞춤형 모니터 설정](/ko/products/wandb/weave/guides/evaluation/custom-monitors)을 참조하세요.
## Related topics
- [시그널로 에이전트 모니터링하기](/ko/products/wandb/weave/guides/tracking/view-agent-signals.md)