Skip to main content
맞춤형 시그널은 사용자가 정의한 동작을 기준으로 에이전트 턴에 점수를 매기고, 그 결과를 Agents view에 태그로 표시합니다. Weave는 사용자 불만이나 탈옥(jailbreaking) 같은 일반적인 사례에 대해 기본 제공 시그널도 제공합니다. 모니터링하려는 항목을 기본 제공 시그널로 다룰 수 없다면 맞춤형 시그널을 만드세요. 이 페이지에서는 Weights & Biases UI에서 맞춤형 태그 시그널을 만드는 방법을 설명합니다.

​
맞춤형 태그 시그널 만들기

맞춤형 태그 시그널을 만들려면:
  1. Forge로 이동하여 프로젝트를 선택하세요.
  2. Weave 프로젝트 사이드바에서 Agents를 클릭하세요.
  3. 탭 표시줄에서 Signals를 클릭하세요.
  4. Signals 탭에서 + Create your first signal 또는 New signal을 클릭하세요.
  5. 서랍 패널에서 Custom Signal을 클릭하세요.
맞춤형 시그널을 만들기 위한 Tag name, Definition, Scorer name, Inference model 필드가 있는 Custom tags 서랍 패널.
  1. Custom tags 서랍 패널에서 다음 필드를 설정하세요:
    • Tag name: 모니터링하려는 행동에 대해 Agents 뷰에 표시되는 레이블입니다.
    • Definition: 시그널이 감지할 행동을 설명하는 프롬프트입니다. Weave는 이 프롬프트를 LLM 평가자에게 보내며, LLM 평가자는 각 에이전트 턴을 점수화하고 턴이 해당 행동과 일치하면 태그를 적용합니다. 예를 들어 특정 제품의 장애를 감지하려면 “사용자가 제품 X의 오류나 문제에 대해 이야기하고 있습니다.”라고 입력하세요.
    • + Add tag (선택): 클릭하여 같은 시그널에 다른 태그를 정의하세요. 예를 들어 여러 제품을 지원한다면 제품별로 별도의 태그를 추가하여 전체적인 불만뿐 아니라 제품별 불만도 추적할 수 있습니다.
    • Scorer name: 기반 Scorer 객체의 이름입니다.
    • Inference model or custom runtime: 일치하는 턴을 점수화하는 데 사용되는 모델입니다. 기본값은 Serverless Inference입니다. CoreWeave Serverless Inference는 CoreWeave Forge 계정의 크레딧을 사용합니다.
    • Include tool calls (선택): Advanced를 펼친 다음 확인란을 선택하여 점수화 모델에 보내는 컨텍스트에 해당 턴의 도구 Call을 포함하세요.
    • Only score turns matching (선택): Advanced를 펼친 다음 하나 이상의 필터를 추가하여 시그널이 점수화할 턴을 제한하세요. 예를 들어 에이전트, 오퍼레이션, 도구 또는 모델별로 제한할 수 있습니다. 모든 에이전트 턴을 점수화하려면 비워 두세요. Weave는 여러 필터를 AND 논리로 결합합니다.
    • Sample rate (선택): Advanced를 펼친 다음 시그널이 점수화할, 조건에 일치하는 에이전트 턴의 비율을 설정하세요. 트래픽이 많은 에이전트의 경우 샘플링 비율을 낮추면 모든 턴 대신 조건에 일치하는 턴의 일부만 점수화하여 비용을 줄일 수 있습니다.
  2. Custom tags 서랍 패널에서 Create signal을 클릭하세요.
시그널을 만들면 Weave가 조건에 일치하는 턴을 점수화합니다. 태그는 Signals 탭을 비롯한 Agents 뷰에 표시됩니다.
마지막 수정일 2026년 9월 30일