기본 제공 시그널로 모니터링하기

지연 시간, 토큰 수, 비용 같은 표준 시스템 메트릭만으로는 에이전트의 동작을 온전히 파악할 수 없습니다. 개별 트레이스를 검사하면 깊이 있는 인사이트를 얻을 수 있지만, 실제 운영 환경에서 생성되는 수백만 개의 트레이스를 모두 이렇게 살펴볼 수는 없습니다. 시그널은 프로덕션 환경의 에이전트를 동작 기반으로 자동 점수화하여, 이 문제를 상위 수준에서 해결하는 모니터링 솔루션입니다.

• 자동 점수화: 들어오는 모든 프로덕션 트레이스가 자동으로 처리되며, 일반적인 품질 문제와 오류를 기준으로 점수가 매겨집니다.
• 인프라: CoreWeave 컴퓨팅과 CoreWeave GPU에서 처리되므로 수백만 개의 트레이스로도 확장할 수 있습니다.

프로덕션 환경에서 시그널을 사용하면 다음과 같은 이점이 있습니다.

• 동작에 대한 인사이트를 얻을 수 있습니다. 시스템 메트릭을 넘어 에이전트가 할루시네이션을 일으키는지, 대화 패턴을 따르지 못하는지, 근거 자료에 기반하지 않은 답변을 하는지 파악할 수 있습니다.
• 연구 주기를 단축할 수 있습니다. 시그널이 생성한 점수와 실패 분석을 활용해 약점을 파악하고, 이를 모델 개선, 데이터 어노테이션, 강화 학습 연구에 활용할 수 있습니다.

​

사용 가능한 시그널

W&B Weave는 기본 제공 시그널이 포함된 모니터를 제공합니다. 기본 제공 시그널은 사전 설정된 Scorer로, 별도의 맞춤형 설정 없이도 프로덕션 트레이스를 평가하여 일반적인 품질 문제와 오류를 감지합니다. 각 기본 제공 시그널은 벤치마크로 검증된 LLM 프롬프트로 트레이스를 분류하고, 감지된 문제를 쉼표로 구분된 태그 형태로 저장합니다. 시그널은 Serverless Inference 모델로 트레이스를 평가하므로 외부 API 키가 필요하지 않습니다. W&B Weave는 13개의 사전 설정 시그널을 제공하며, 이는 두 그룹으로 나뉩니다.

​

품질 시그널

품질 시그널은 성공한 루트 수준 트레이스의 출력 품질 및 안전성 문제를 평가합니다.

​

오류 시그널

오류 시그널은 실패한 트레이스를 근본 원인별로 분류하여 인프라 및 애플리케이션 문제를 파악하고 해결할 수 있도록 도와줍니다.

​

시그널 작동 방식

각 시그널은 LLM-as-a-judge 방식으로 트레이스를 분류합니다.

• 트레이스 선택: 품질 시그널은 성공한 루트 수준 트레이스를 평가하고, 오류 시그널은 실패한 트레이스를 평가합니다. Weave는 하위 span과 중간 Call에는 점수를 매기지 않습니다.
• 프롬프트 구성: Weave는 트레이스 메타데이터, 입력, 출력, 예외 세부 정보(있는 경우), 오퍼레이션의 소스 코드를 포함한 프롬프트를 구성합니다. 그런 다음 감지할 특정 문제에 대한 지침이 담긴 시그널의 분류기 프롬프트를 덧붙입니다.
• LLM 점수화: 각 시그널마다 Serverless Inference 모델이 이진 분류(트레이스에 해당 문제가 있는지 여부)를 수행합니다. 감지된 문제는 쉼표로 구분된 문자열 태그로 반환됩니다(예: "Low-quality, User-frustration, Forgetful").

같은 그룹(품질 또는 오류)의 여러 시그널이 활성화되어 있으면 Weave는 이 시그널들을 하나의 LLM Call로 묶어 처리합니다. 모델은 활성화된 모든 분류기를 한 번에 평가하고 각 분류기의 결과를 반환합니다.

​

모니터 페이지에서 시그널 추가하기

시그널을 추가하면 자동 점수화가 활성화되어 Weave가 새로 들어오는 프로덕션 트레이스를 해당 시그널의 기준에 따라 평가합니다. 시그널을 활성화하려면 다음 단계를 따르세요.

1. Forge로 이동한 다음 Weave 프로젝트를 여세요.
2. Weave 프로젝트 사이드바에서 모니터를 선택하세요.
3. 모니터가 활성화되지 않은 프로젝트에 시그널을 추가하려면 시그널 카드를 클릭하여 체크박스를 선택한 다음 Setup 모니터를 클릭하세요.
4. 기존 모니터에 시그널을 추가하려면 모니터 페이지 오른쪽 상단에서 Browse signals를 선택하세요. Add signals 드로어가 열리고, 사용 가능한 시그널이 범주별(예: Quality classifiers, Error classifiers)로 묶여 체크박스와 함께 표시됩니다. 시그널을 개별적으로 선택하거나, Enable all로 그룹 전체를 선택하거나, Create custom signal을 선택할 수 있습니다. 그런 다음 드로어 하단에서 Add signals를 선택하세요.

시그널을 추가하면 Weave가 수신되는 트레이스의 점수를 자동으로 매깁니다.

​

활성 시그널 관리

시그널을 실행한 후에는 활성 상태인 시그널을 확인하거나 더 이상 필요하지 않은 시그널을 끌 수 있습니다. 활성 시그널을 확인하거나 제거하려면 다음 단계를 따르세요.

1. Monitors 페이지에서 Manage signals () 버튼을 선택하세요. 드로어가 열리고 현재 활성 상태인 모든 시그널이 범주별로 그룹화된 목록이 표시됩니다.
2. 비활성화할 시그널에 마우스를 올린 다음 Remove signal () 버튼을 선택하세요.

시그널을 제거하면 새 트레이스에 대한 점수화가 중지됩니다. 해당 시그널로 생성된 기존 점수는 Weave에 그대로 보존됩니다.

​

기본 제공 시그널 사용하기

시그널이 활성화되어 트레이스를 점수화하기 시작하면 Weave의 여러 위치에서 결과를 검토할 수 있습니다. Weave가 문제를 감지하면 알림을 받도록 설정할 수도 있습니다. 다음 섹션에서는 시그널 결과를 확인할 수 있는 위치와 결과에 따라 조치를 취하는 방법을 설명합니다.

​

Traces 페이지에서 태그가 지정된 Call 트레이스 확인하기

@weave.op 데코레이터를 사용해 개별 함수를 Op로 트레이스하면 Weave는 시그널 결과를 Call 객체의 피드백으로 저장합니다. 이 결과는 Traces 페이지에서 쿼리할 수 있습니다. Traces 페이지의 Signals 열을 사용하면 트레이스에서 특정 동작을 찾아볼 수 있습니다. Signals 열에는 기준을 충족한 항목에 태그가 표시됩니다. 태그에 마우스를 올리면 점수의 신뢰도와 추론을 확인할 수 있습니다. 트레이스 table 툴바를 사용하면 특정 시그널을 트리거한 트레이스만 표시되도록 트레이스 table을 필터링할 수 있습니다. Traces 페이지에서 시그널이 생성한 분류기 Call을 선택하고 Trace Details view를 살펴보면 시그널의 세부 정보를 더 확인할 수 있습니다. Call Output 아래의 classifier_meta에서 추론을 확인하세요. 예를 들어 다음 스크린샷은 Low-quality로 판정되고 신뢰도가 0.9인 Quality-classifiers 시그널과 해당 평점의 이유를 보여 줍니다.

​

프로젝트 대시보드에서 시그널 확인하기

프로젝트 단위로도 시그널을 검토할 수 있습니다.

1. 프로젝트 사이드바에서 Project를 선택하세요.
2. Project 대시보드 상단에서 Weave 탭을 선택하세요.
3. Weave 대시보드 패널에서 Monitor Scores를 찾으세요.

Monitor Scores 프로젝트 패널에서는 프로젝트에서 발생한 시그널을 시간대별 그래프로 확인할 수 있습니다.

​

시그널 알림 받기

UI에서 시그널을 검토하는 것 외에도, 시그널이 트리거되면 Weave에서 알림을 받을 수 있습니다. 에이전트의 성능이 특정 임곗값 아래로 떨어질 때 Slack 등의 도구로 팀에 알림을 보내는 자동 트리거를 설정할 수 있습니다. 시그널이 트리거될 때 알림을 받으려면 자동화를 설정하세요.

---

기본 제공 시그널로 충족되지 않는 특정 모니터링이 필요하다면 맞춤형 모니터 설정을 참조하세요.