사용 가능한 뷰
- 시간 경과에 따른 request volume;
- routed 모델별 트래픽 share;
- 프로젝트-버전 분포;
- input 및 output 토큰 볼륨;
- 공급자 오류;
- estimated input, output 및 total cost;
- 현재 트래픽을 받고 있지 않은 comparison 모델.
가격 정보 커버리지
분석에서는 보고된 비용이 있으면 이를 사용하고, 없으면 다음 소스를 순서대로 사용해 비용을 추정합니다.- 공급자 또는 미세 조정 모델에 설정된 수동 모델 가격
- 호스팅된 모델 또는 미세 조정 모델의 기본 모델에 대한 Serverless Inference 가격
- 일치하는 모델이 있는 경우 번들로 포함된 LiteLLM 카탈로그
롤아웃 중 애널리틱스 사용
라우팅 변경 후 다음을 확인하세요:- 새 모델이 의도한 비율을 받는지;
- 이전 모델이 예상 잔여 또는 0 가중치에 유지되는지;
- 오류율이 증가하지 않는지;
- 토큰 볼륨과 종료 동작이 타당한지;
- 예상 비용이 예상 방향으로 움직이는지.
API: 프로젝트 애널리틱스 조회 (GET /projects/{alias}/analytics)
API: 프로젝트 애널리틱스 조회 (GET /projects/{alias}/analytics)