ルーティングとバージョン

ルーティングは、project のバージョンにどのモデルを提供させるかを定義します。各ターゲットには、モデル参照、0 以上の重み、およびパラメーターの上書き (オプション) が含まれます。

重みは相対値です

重みの合計を 100 にする必要はありません。重みが 3 と 1 の設定では、トラフィックはそれぞれ約 75% と 25% の割合で振り分けられます。重みが 0 のターゲットは設定内で引き続き使用可能な状態に保たれますが、重み付けによる新しいトラフィックは受信しません。完全に昇格した後も以前のモデルを参照やロールバックに備えて残しておきたい場合は、重みを 0 に設定します。

スティッキールーティング

リクエストで wandb.thread_id または gen_ai.conversation.id が指定されている場合、プロキシは同じルーティングリビジョン内で、その会話を常に同じ 1 つのターゲットに決定論的に割り当てます。会話 ID が指定されていない場合、ターゲットはリクエストごとに個別に選択されます。

ターゲットパラメーター

temperature、reasoning effort、応答形式、プロバイダー固有の制御などの値を追加するには、モデルの下にある Parameters を展開します。数値、ブール値、配列、オブジェクトは JSON として解析されます。それ以外のテキストは string として扱われます。保存された上書き値は、呼び出し元が指定した同じフィールドの値よりも優先されます。

既存のバージョンまたは新しいバージョンに保存する

project の Routing ページを開きます。ターゲットを追加または編集し、バージョンバーで保存先を選択してから、Save routing を選択します。バージョンバーでの選択も、この保存操作に含まれます。

既存のバージョンを選択すると、そのバージョンの目的のルーティングが置き換えられます。
新規バージョンのオプションを選択すると、新しいバージョンが作成されます。バージョンが作成されるのは、Save routing を選択した時点です。新しいバージョンは name@vN で呼び出します。

保存するたびに、新しいルーティングリビジョンがパブリッシュされます。ルーティングリビジョンとは、そのバージョンに対する番号付きの設定で、ターゲット、重み、パラメーターの上書き、トレースのサンプリング率が含まれます。パブリッシュは非同期で行われるため、保存した設定がトラフィックを処理するのは、そのリビジョンでデプロイメントのステータスが Applied になった後です。

バージョンを削除すると、そのバージョンに固定されている呼び出し元は 404 応答を受け取ります。バージョン 1 は削除できません。

API: project バージョンのルーティングを置き換える (PUT /tasks/{alias}/versions/{version}/routing)

ルーティングを更新すると設定全体が置き換えられるため、リクエストにはすべてのターゲットに加えて trace_sampling_rate も含める必要があります。既存のサンプリング率を維持する場合は、その値をリクエストに指定してください。ロールバックに備えて以前のモデルを残しておく場合は、重みを 0 に設定します。

curl --request PUT \
  --url "https://distillation.training.wandb.ai/v1/tasks/ticket-classifier/versions/2/routing" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Wandb-Entity: your-team" \
  --header "Content-Type: application/json" \
  --data '{
    "trace_sampling_rate": 1,
    "targets": [
      {"model_ref": "openai/gpt-5.6-sol", "weight": 0},
      {"model_ref": "wandb-inference/your-fine-tuned-model", "weight": 1}
    ]
  }'

現在のリビジョンでデプロイメントが applied になるまで、返されたルーティングの状態をポーリングします。詳細はタスクバージョンのルーティングを置き換えるを参照してください。

​重みは相対値です

​スティッキールーティング

​ターゲットパラメーター

​既存のバージョンまたは新しいバージョンに保存する

重みは相対値です

スティッキールーティング

ターゲットパラメーター

既存のバージョンまたは新しいバージョンに保存する