推論プロキシの概要

推論プロキシは、アプリケーションのオンラインパス上の唯一のコンポーネントです。以下を公開します：

POST https://proxy.training.wandb.ai/v1/chat/completions
Authorization: Bearer <wandb-api-key>

既存の OpenAI クライアントは引き続き動作します。model の値によって、リクエストが project のルーティングを使用するか、登録済みのプロバイダーを直接呼び出すかが決まります。

プロキシが追加するもの

OpenAI-compatible のトランスポート

非ストリーミングおよびストリーミングのチャット補完応答の動作を保持します。

サポートされるルート

`model` 値	結果
`proxy-model-name`	project バージョン 1 の重み付けルーティング
`proxy-model-name@v2`	バージョン 2 に固定された重み付けルーティング
`provider/model-id`	登録済みプロバイダーへのCall

project リクエストは自動的にトレースされます。Direct プロバイダーへのCall は、metadata["wandb.project"] が送信先を選択しない限りトレースされません。ストリーミングしない project リクエストは、wandb-cache-mode ヘッダーを使用して exact-response キャッシュにオプトインすることもできます。これにより、プロバイダーを呼び出す代わりに同一の以前の応答を再生します。

API: project ルーティングされたリクエストを送信する (POST /chat/completions)

curl --request POST \
  --url "https://proxy.training.wandb.ai/v1/chat/completions" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Content-Type: application/json" \
  --data '{
    "model": "ticket-classifier",
    "messages": [{"role": "user", "content": "Classify this request"}],
    "metadata": {"wandb.entity": "your-team"}
  }'

ルーティングされたチャット補完の作成については、Create a routed chat completion を参照してください。

Fail closed 動作

プロキシは、任意のエンドポイントを呼び出す前に、不明な W&B key、entity、project、バージョン、およびプロバイダーを拒否します。プロバイダー URL と認証情報は、サーバー管理のマテリアライゼーションからのみ提供されます。呼び出し元は、リクエストヘッダーまたはトークンでそれらを指定できません。

最終更新日 2026年9月30日

​プロキシが追加するもの

OpenAI-compatible のトランスポート

​サポートされるルート

​Fail closed 動作

プロキシが追加するもの

サポートされるルート

Fail closed 動作