クイックスタート - CoreWeave Docs

このガイドでは、既存の AI 機能から本番環境で動作する特化モデルに至る一連の流れを紹介します。OpenAI クライアントを通じてモデルを呼び出すアプリケーションをすでに保有しており、アプリケーションを変更せずにモデルを置き換えたい開発者を対象としています。アプリケーションを CoreWeave Model Distillation に接続し、実トラフィックをデータセットに収集した後、候補モデルをファインチューンして評価し、最適なモデルに本番トラフィックを振り分けます。完了すると、アプリケーションはプロキシを通じて安定した project を選択し、品質・速度・コストのバランスを考慮して選択した候補モデルが割り当てたトラフィックを処理します。

開始する前に、組織が Model Distillation のプライベートプレビューへのアクセス権を持っている必要があります。

Forge で Post-training > Model Distillation を選択します。Model Distillation を開き、Forge API キーでサインインし、アプリケーションを所有するチームを選択します。

本番アプリケーションには、チームのサービスアカウントキーを推奨します。これにより、アプリケーションの可用性が 1 人の従業員のアカウントに依存しなくなります。

ステップ 2: 現在のモデルプロバイダーを登録する

プロバイダーを開き、現在のモデルを実行しているサービスに接続します。これにより、データを収集して代替モデルをトレーニングする間も、Model Distillationで同じモデルを提供し続けられます。組み込みの wandb-inference プロバイダーを使用している場合は、このステップを省略できます。プロバイダーは、ルーティングされたアプリケーショントラフィックを処理するために、OpenAI 互換の Chat Completions エンドポイントを公開している必要があります。/v1 などの必要なパス接頭辞を含め、正確な API ベース URL を入力してください。プロキシは /chat/completions を追加します。UI での再ラベル付けと評価では、openai という名前のプロバイダーは代わりに OpenAI の Responses API を使用します。プロバイダーを保存した後、モデル ID がまだ利用できない場合は、追加するか有効にしてください。続行する前に、現在のリビジョンでプロバイダーのデプロイメントが Applied になるまで待ってください。

ステップ 3: project を作成する

Projects から Create or import a project を選択します。新しい Weights & Biases プロジェクトを作成するか、すでに持っているものをインポートし、ticket-classifier などの project エイリアスを付け、現在それを提供しているモデルを選択します。project エイリアスはデフォルトでプロジェクト名と同じになり、Studio の URL や Management API のパスで project を識別するために使用されます。アプリケーションは、OpenAI-Project の値 [ENTITY]/[PROJECT] (例: your-team/ticket-classifier) で project を指定します。[PROJECT] は Weights & Biases のプロジェクト名であり、project エイリアスではありません。この値は Studio の project ヘッダーに表示されます。新しい実装をトレーニングしてデプロイしても、この値は変わりません。

API: project を作成する (PUT /projects/{alias})

project エイリアスは URL の alias です。project に Weights & Biases のプロジェクト名を設定し、project_mode で create または import を選択し、targets に現在のモデルを設定します:

curl --request PUT \
  --url "https://forge.coreweave.com/api/distillation/v1/projects/ticket-classifier" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Forge-Entity: your-team" \
  --header "Content-Type: application/json" \
  --data '{
    "project": "ticket-classifier",
    "project_mode": "create",
    "targets": [
      {"model_ref": "openai/gpt-5.6-sol", "weight": 1}
    ]
  }'

完全なリクエストと応答については、Create a Model Distillation project を参照してください。

ルーティングは非同期でパブリッシュされます。projectの Routing ページを開き、現在のルーティングリビジョンでデプロイメントが Applied になるまで待ってから、アプリケーショントラフィックを送信してください。

ステップ 4: アプリケーションを接続する

通常の OpenAI クライアントをそのまま使用し、ベース URL、project、モデルを変更します。

from openai import OpenAI

client = OpenAI(
    base_url="https://proxy.training.coreweave.com/v1",
    api_key=wandb_api_key,
    project="your-team/ticket-classifier",  # OpenAI-Project ヘッダーとして送信されます
)

response = client.chat.completions.create(
    model="router",  # project の重み付きルーティングを使用
    messages=messages,
    metadata={"gen_ai.conversation.id": conversation_id},
)

Model Distillation は、通常のアプリケーショントラフィックから有用な例を収集するようになりました。Python、JavaScript、および curl の例については、アプリケーションを接続するを参照してください。

Step 5: データセットを作成する

project に代表的なトラフィックが集まったら、データセットを作成します。サンプルを確認し、質の低いものを削除します。新しいモデルが現在のモデルよりも優れた動作を学習するようにしたい場合は、回答を改善してください。最初のデータセットを作成して検査するには、Datasets クイックスタートに従ってください。

Step 6: 複数のモデルをファインチューン

データセットから1つ以上の候補モデルをトレーニングします。いくつかの候補を試すことで、品質、速度、コストの適切なバランスを検索する可能性が高まります。ファインチューニングクイックスタートに従って、トレーニングジョブを開始します。

ステップ 7: 候補を評価する

保存したい回答とすべての候補を比較します。全体の結果と個々のサンプルを確認してから、勝者を選んでください。最初の比較を実行するには、評価クイックスタートに従ってください。

ステップ 8: 最も優れたモデルをデプロイする

最も優れたモデルをprojectのルーティングに追加します。最初はトラフィックのごく一部だけを割り当てて徐々に割合を増やし、ロールバックに備えて元のモデルもすぐに使える状態にしておけます。アプリケーションはこれまでと同じ OpenAI-Project の値を model: "router" とともに送信し続けるだけで、割り当てた割合のトラフィックを新しいモデルが処理するようになります。

最初のモデルをトレーニングしてデプロイする

各判断の詳細を含め、手動ワークフロー全体を順を追って確認できます。

​ステップ 1: Forge にサインイン

​ステップ 2: 現在のモデルプロバイダーを登録する

​ステップ 3: project を作成する

​ステップ 4: アプリケーションを接続する

​Step 5: データセットを作成する

​Step 6: 複数のモデルをファインチューン

​ステップ 7: 候補を評価する

​ステップ 8: 最も優れたモデルをデプロイする

最初のモデルをトレーニングしてデプロイする

ステップ 1: Forge にサインイン

ステップ 2: 現在のモデルプロバイダーを登録する

ステップ 3: project を作成する

ステップ 4: アプリケーションを接続する

Step 5: データセットを作成する

Step 6: 複数のモデルをファインチューン

ステップ 7: 候補を評価する

ステップ 8: 最も優れたモデルをデプロイする