사용 가능한 뷰
- 시간 경과에 따른 request volume;
- routed 모델별 트래픽 share;
- 프로젝트-버전 분포;
- input 및 output 토큰 볼륨;
- 공급자 오류;
- estimated input, output 및 total cost;
- 현재 트래픽을 받고 있지 않은 comparison 모델.
Pricing coverage
비용은 추정치입니다. UI는 다음 순서로 가격 정보를 가져옵니다:- 공급자 또는 fine-tune에 구성된 수동 모델 가격;
- fine-tune의 기본 모델에 대한 W&B Inference 가격;
- 일치하는 모델이 알려진 경우 번들된 LiteLLM 카탈로그.
롤아웃 중 애널리틱스 사용
라우팅 변경 후 다음을 확인하세요:- 새 모델이 의도한 비율을 받는지;
- 이전 모델이 예상 잔여 또는 0 가중치에 유지되는지;
- 오류율이 증가하지 않는지;
- 토큰 볼륨과 종료 동작이 타당한지;
- 예상 비용이 예상 방향으로 움직이는지.
API: 프로젝트 애널리틱스 조회 (GET /tasks/{별칭}/analytics)
API: 프로젝트 애널리틱스 조회 (GET /tasks/{별칭}/analytics)