시그널로 에이전트 모니터링하기

W&B Weave의 Agents view에서는 Signals 탭을 통해 에이전트 대화의 태그와 평점을 확인할 수 있습니다. 시그널은 품질 및 안전 문제를 드러내어 문제를 표시하고, 패턴을 찾아내며, 주의가 필요한 트레이스를 강조해 보여줍니다. 시그널을 사용하면 에이전트 응답의 품질을 자동으로 평가하거나, 사용자가 불만을 느끼는 순간을 감지하거나, NSFW 콘텐츠를 표시할 수 있습니다.

​

시작하기

프로젝트의 시그널을 확인하려면 다음 단계를 따르세요.

1. Forge로 이동한 후 프로젝트를 선택하세요.
2. 사이드바 메뉴에서 Agents를 선택하면 프로젝트에 저장된 모든 에이전트 대화를 확인할 수 있습니다.
3. 탭 표시줄에서 Signals를 선택하세요.

​

주요 용어

• 턴: 사용자와 에이전트가 한 번 주고받는 대화입니다.
• 평점: 일치하는 span에 부여되는 0.0에서 1.0 사이의 숫자 점수입니다.
• 태그: “user-frustration” 또는 “nsfw”와 같이 일치하는 span에 부여되는 레이블입니다.

​

Signals table

Signals 탭에는 에이전트의 점수가 매겨진 턴을 보여주는 table이 표시됩니다. 각 행은 시그널 모니터 중 하나의 출력을 나타냅니다. 기본적으로 다음 열이 표시됩니다. 시간 윈도우 선택기와 필터 표시줄을 사용하여 Scorer, 에이전트, 점수 범위 또는 기간별로 결과를 좁히세요. 점수량 타임라인은 Weave가 평점을 매기거나 태그를 지정한 시그널의 개수를 보여줍니다. table에 표시된 행을 반영하며, 타임라인에서 드래그하여 필터링할 수 있습니다.

​

새 시그널 만들기

에이전트의 턴 점수화를 시작하려면 하나 이상의 시그널을 만드세요. + New signal을 선택하여 Create signals 패널을 여세요. 패널에서는 사용 가능한 시그널을 두 가지 범주로 분류합니다:

• 태그: 일치하는 span에 user-frustration 또는 nsfw와 같은 레이블을 자동으로 적용합니다. 태그를 사용하여 span을 분류하거나 원치 않는 동작을 표시하세요. 시그널 UI에는 하나 이상의 태그와 일치한 span의 행만 표시되므로, 출력이 보이지 않더라도 태그 시그널이 성공적으로 실행되었을 수 있습니다.
• 평점: 일치하는 span에 0부터 1까지의 점수를 부여합니다. 평점을 사용하여 에이전트 성능을 평가하고 시간에 따른 개선 정도를 측정하세요.

​

사전 설정 시그널

각 범주에는 바로 선택할 수 있는 사전 설정 템플릿이 제공됩니다. 두 범주에서 원하는 사전 설정을 조합하여 선택한 다음, 시그널 [N]개 만들기를 선택하여 기본 설정으로 한 번에 모두 생성하세요.

​

태그 사전 설정

​

평점 사전 설정

​

맞춤형 시그널

비어 있는 Signals 탭에서 맞춤형 태그 시그널을 만들려면 맞춤형 시그널 만들기를 참조하세요.

​

시그널 관리 및 편집

생성한 시그널이 하나 이상 있으면 툴바에서 활성 시그널 버튼을 선택하세요. 이 버튼에는 1 active signals처럼 활성 시그널 수가 표시되며, 선택하면 프로젝트의 모든 활성 시그널 목록이 담긴 패널이 열립니다. 여기에서 시그널을 켜거나 끌 수 있고, 삭제하거나 편집할 수도 있습니다. 편집기에는 맞춤형 시그널과 동일한 설정 필드가 표시됩니다.

​

시그널 문제 해결

시그널 활동은 프로젝트 사이드바의 Traces에 표시됩니다. 예상한 시그널 일치 항목이 표시되지 않으면 Traces table을 사용하여 디버깅하세요. 예를 들어, Scorer 이름과 Status 열에서 오류 상태를 확인하세요. Scorer 실행 오류가 발생하면 Status에 빨간색 표시와 함께 오류 세부 정보가 표시됩니다.