推論プロキシの概要

推論プロキシは、アプリケーションのオンラインパス上の唯一のコンポーネントです。以下を公開します：

POST https://proxy.training.coreweave.com/v1/chat/completions
Authorization: Bearer <wandb-api-key>
OpenAI-Project: [ENTITY]/[PROJECT]

Bearer token には Forge API キーを使用します。OpenAI-Project は、entity と Weights & Biases のプロジェクト名で Model Distillation の project を指定します。既存の OpenAI クライアントは引き続き動作します。OpenAI SDK は、project オプションまたは OPENAI_PROJECT_ID 環境変数の値をもとにこのヘッダーを送信します。model の値によって、リクエストが project の重み付きルーティングを使用するか、モデルを上書きするかが決まります。

プロキシが追加するもの

project ルーティング

project のバージョンを解決し、重み付けされたターゲットを選択してそのパラメーターを適用し、会話をスティッキーに維持します。

認証情報の分離

クライアントのヘッダーを転送せずに、APIキーを選択したプロバイダーの認証情報に置き換えます。

トレーニング品質のトレース

送信したリクエストとレスポンスの全体を、project とプロバイダーのアイデンティティとともに記録します。

OpenAI-compatible のトランスポート

非ストリーミングおよびストリーミングのチャット補完レスポンスの動作を保持します。

サポートされるルート

OpenAI-Project ヘッダーを指定した場合、model には次のいずれかの値を指定します。

`model` 値	結果
`router`、空欄、または省略	選択した project バージョンの重み付きルーティング
`provider/model-id`	project 内で、登録済みプロバイダーを介して行うモデルのオーバーライド

metadata["forge.project_version"] では、"2" のように project バージョンを指定します。省略した場合はバージョン 1 が選択されます。ルーティングされたリクエストとモデルのオーバーライドは、どちらも project のトラフィックとして扱われます。プロキシは、選択されたバージョンでこれらのトレース、サンプリング、キャッシュを行います。ストリーミングしない project リクエストは、Forge-Cache-Mode ヘッダーを使用して exact-response キャッシュにオプトインすることもできます。これにより、プロバイダーを呼び出す代わりに同一の以前のレスポンスを再生します。

API: project ルーティングされたリクエストを送信する (POST /chat/completions)

curl --request POST \
  --url "https://proxy.training.coreweave.com/v1/chat/completions" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Content-Type: application/json" \
  --header "OpenAI-Project: your-team/ticket-classifier" \
  --data '{
    "model": "router",
    "messages": [{"role": "user", "content": "Classify this request"}],
    "metadata": {"gen_ai.conversation.id": "conversation-4827"}
  }'

ルーティングされたチャット補完の作成については、Create a routed chat completion を参照してください。

Fail closed 動作

プロキシは、任意のエンドポイントを呼び出す前に、不明な APIキー、entity、project、バージョン、およびプロバイダーを拒否します。プロバイダー URL と認証情報は、サーバー管理のマテリアライゼーションからのみ提供されます。呼び出し元は、リクエストヘッダーまたはトークンでそれらを指定できません。

​プロキシが追加するもの