시작하려면 라우팅이 적용된 프로젝트와 UI에서 사용 가능한 후보 모델이 있어야 합니다.
1
후보 모델 추가
프로젝트의 Routing 페이지를 열고 Add model을 선택한 다음 후보 모델을 고르세요. 트래픽을 처리하기 전에 설정부터 저장하려면 가중치를
0으로 지정해 시작하세요.2
롤아웃 가중치 설정
후보 모델에 작은 양수 가중치를 부여하고, 현재 모델은 설정에 그대로 두세요. 가중치는 상대값입니다. 예를 들어 가중치가
1과 9이면 각각 트래픽의 약 10%와 90%가 전달됩니다.대화형 애플리케이션에서는 요청에 wandb.thread_id를 포함하세요. 그러면 롤아웃 중에도 각 대화가 하나의 모델에서 계속 처리됩니다.3
라우팅 설정 저장
변경 사항을 반영할 프로젝트 버전을 선택하고 Save routing을 선택하세요. 새 설정이 적용된다고 간주하기 전에, 배포가 현재 리비전에서 Applied 상태가 될 때까지 기다리세요.
4
롤아웃 확인
프록시를 통해 실제 사용 패턴을 반영하는 요청을 보내세요. Analytics에서 후보 모델이 의도한 비율만큼 트래픽을 받고 있는지, 오류율이 높아지지 않았는지 확인하세요.평가 결과와 애플리케이션 메트릭을 바탕으로 후보 모델의 가중치를 늘릴지 결정하세요. 후보 모델을 설정에서 제거하지 않고 새로운 가중치 기반 트래픽만 중단하려면 가중치를 다시
0으로 설정하세요.라우팅 및 버전 동작
고정 라우팅, 매개변수 오버라이드, 버전, 롤백에 대해 알아보세요.