開始する前に、ルーティングが適用された project と、UI で利用可能な候補モデルを用意してください。
1
候補を追加する
project の Routing ページを開き、Add model を選択して候補を選びます。トラフィックを処理する前に設定を保存しておきたい場合は、重みを
0 にして開始します。2
ロールアウトの重みを設定する
候補に小さな正の重みを割り当て、現在のモデルは設定に残したままにします。重みは相対値です。たとえば重みが
1 と 9 の場合、トラフィックの約 10% と 90% がそれぞれに送信されます。会話型アプリケーションの場合は、リクエストに wandb.thread_id を含めてください。これにより、ロールアウト中も各会話が同じモデルで処理されます。3
ルーティング設定を保存する
変更を反映する project バージョンを選択し、Save routing を選択します。新しい設定を前提とした運用を始める前に、デプロイメントが現在のリビジョンで Applied になるまで待ちます。
4
ロールアウトを検証する
代表的なリクエストをプロキシ経由で送信します。Analytics で、候補が意図した割合のトラフィックを受けていること、およびエラー率が増加していないことを確認します。評価結果とアプリケーションのメトリクスをもとに、候補の重みを増やすかどうかを判断します。候補を設定から削除せずに新たな重み付きトラフィックの送信を停止するには、重みを
0 に戻します。ルーティングとバージョンの動作
スティッキールーティング、パラメーターのオーバーライド、バージョン、ロールバックについて説明します。