利用できるビュー
- 時系列のリクエスト数
- ルーティング先モデル別のトラフィック比率
- プロジェクトバージョンの分布
- 入力・出力トークン量
- プロバイダーエラー
- 入力・出力・合計コストの推定値
- 現在トラフィックを受けていない比較対象モデル
価格情報のカバー率
費用は推定値です。UI は次の順序で価格情報を使用します。- プロバイダーまたはファインチューンに手動で設定されたモデルの価格;
- ファインチューンのベースモデルの W&B Inference 価格;
- 一致するモデルが判明している場合は、バンドルされた LiteLLM カタログ。
ロールアウト中に Analytics を使用する
ルーティングを変更した後、次を確認してください。- 新しいモデルに意図した割合のトラフィックが割り当てられていること;
- 古いモデルの重みが想定した残余値またはゼロに維持されていること;
- エラー率が増加していないこと;
- トークン量と終了時の動作が妥当であること;
- 推定コストが想定した方向に変化していること。
API: project の Analytics を読み取る (GET /tasks/{alias}/analytics)
API: project の Analytics を読み取る (GET /tasks/{alias}/analytics)