시작하기
프로젝트의 시그널을 확인하려면 다음 단계를 따르세요.- Forge로 이동한 후 프로젝트를 선택하세요.
- 사이드바 메뉴에서 Agents를 선택하면 프로젝트에 저장된 모든 에이전트 대화를 확인할 수 있습니다.
- 탭 표시줄에서 Signals를 선택하세요.
주요 용어
- 턴: 사용자와 에이전트가 한 번 주고받는 대화입니다.
- 평점: 일치하는 span에 부여되는 0.0에서 1.0 사이의 숫자 점수입니다.
- 태그: “user-frustration” 또는 “nsfw”와 같이 일치하는 span에 부여되는 레이블입니다.
Signals table
Signals 탭에는 에이전트의 점수가 매겨진 턴을 보여주는 table이 표시됩니다. 각 행은 시그널 모니터 중 하나의 출력을 나타냅니다. 기본적으로 다음 열이 표시됩니다.
시간 윈도우 선택기와 필터 표시줄을 사용하여 Scorer, 에이전트, 점수 범위 또는 기간별로 결과를 좁히세요. 점수량 타임라인은 Weave가 평점을 매기거나 태그를 지정한 시그널의 개수를 보여줍니다. table에 표시된 행을 반영하며, 타임라인에서 드래그하여 필터링할 수 있습니다.
Weave가 점수를 정규화하는 방식
Weave는 시그널 결과를 저장하기 전에 Scorer가 반환한 태그, 평점, 사유를 정규화합니다.- 태그는 소문자로 변환됩니다.
0-9,a-z,A-Z, 공백,. , ; - & ! @ # $ % ?이외의 문자는 제거됩니다. 연속된 공백, 밑줄, 대시는 대시 하나로 합쳐집니다. - 결과당 태그는 최대 10개까지만 유지되며, 중복된 태그는 제거됩니다.
- 사유에서도 동일한 문자가 제거되며, 256자를 넘는 부분은 잘립니다.
- 36자를 초과하는 태그가 있거나 평점이 두 개 이상인 결과는 전체가 거부되며, Weave는 해당 결과에 대한 피드백을 기록하지 않습니다.
새 시그널 만들기
에이전트의 턴 점수화를 시작하려면 하나 이상의 시그널을 만드세요. + New signal을 선택하여 Create signals 패널을 여세요. 패널에서는 사용 가능한 시그널을 두 가지 범주로 분류합니다:- 태그: 일치하는 span에
user-frustration또는nsfw와 같은 레이블을 자동으로 적용합니다. 태그를 사용하여 span을 분류하거나 원치 않는 동작을 표시하세요. 시그널 UI에는 하나 이상의 태그와 일치한 span의 행만 표시되므로, 출력이 보이지 않더라도 태그 시그널이 성공적으로 실행되었을 수 있습니다. - 평점: 일치하는 span에 0부터 1까지의 점수를 부여합니다. 평점을 사용하여 에이전트 성능을 평가하고 시간에 따른 개선 정도를 측정하세요.