クイックスタート - CoreWeave Docs

このガイドでは、既存の AI 機能から本番環境で動作する特化モデルに至る一連の流れを紹介します。OpenAI クライアントを通じてモデルを呼び出すアプリケーションをすでに保有しており、アプリケーションを変更せずにモデルを置き換えたい開発者を対象としています。アプリケーションを CoreWeave Model Distillation に接続し、実トラフィックをデータセットに収集した後、候補モデルをファインチューンして評価し、最適なモデルに本番トラフィックを振り分けます。完了すると、アプリケーションは安定したプロキシモデル名を呼び出し、品質・速度・コストのバランスを考慮して選択した候補モデルが割り当てたトラフィックを処理します。 Forge で Post-training → Model Distillation を選択します。Model Distillation を開き、W&B APIキーでサインインし、アプリケーションを所有するチームを選択します。

本番アプリケーションには、チームのサービスアカウントキーを推奨します。これにより、アプリケーションの可用性が 1 人の従業員のアカウントに依存しなくなります。

ステップ 2: 現在のモデルプロバイダーを登録する

プロバイダーを開き、現在のモデルを実行しているサービスに接続します。これにより、データを収集して代替モデルをトレーニングする間も、Model Distillationで同じモデルを提供し続けられます。組み込みの wandb-inference プロバイダーを使用している場合は、このステップを省略できます。プロバイダーは、ルーティングされたアプリケーショントラフィックを処理するために、OpenAI 互換の Chat Completions エンドポイントを公開している必要があります。/v1 などの必要なパス接頭辞を含め、正確な API ベース URL を入力してください。プロキシは /chat/completions を追加します。UI での再ラベル付けと評価では、openai という名前のプロバイダーは代わりに OpenAI の Responses API を使用します。プロバイダーを保存した後、モデル ID がまだ利用できない場合は、追加するか有効にしてください。続行する前に、現在のリビジョンでプロバイダーのデプロイメントが Applied になるまで待ってください。

ステップ 3: project を作成する

Projects から Create or import a project を選択します。新しい W&B プロジェクトを作成するか、すでに持っているものをインポートし、機能に ticket-classifier などの安定したプロキシモデル名を付け、現在それを提供しているモデルを選択します。プロキシモデル名は、アプリケーションで使用される model の値になります。新しい実装をトレーニングしてデプロイする際も同じままです。

API: project を作成する (PUT /tasks/{alias})

API は project をタスクと呼び、プロキシモデル名は URL の alias です。project にプロジェクト名を設定し、project_mode で create または import を選択し、targets に現在のモデルを設定します:

curl --request PUT \
  --url "https://distillation.training.wandb.ai/v1/tasks/ticket-classifier" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Wandb-Entity: your-team" \
  --header "Content-Type: application/json" \
  --data '{
    "project": "ticket-classifier",
    "project_mode": "create",
    "targets": [
      {"model_ref": "openai/gpt-5.6-sol", "weight": 1}
    ]
  }'

完全なリクエストと応答については、Create a Model Distillation project を参照してください。

ルーティングは非同期でパブリッシュされます。projectの Routing ページを開き、現在のルーティングリビジョンでデプロイメントが Applied になるまで待ってから、アプリケーショントラフィックを送信してください。

ステップ 4: アプリケーションを接続する

通常の OpenAI クライアントをそのまま使用し、ベース URL とモデルを変更します。

from openai import OpenAI

client = OpenAI(
    base_url="https://proxy.training.wandb.ai/v1",
    api_key=wandb_api_key,
)

response = client.chat.completions.create(
    model="ticket-classifier",
    messages=messages,
    extra_body={
        "metadata": {
            "wandb.entity": "your-team",
            "wandb.thread_id": conversation_id,
        }
    },
)

Model Distillation は、通常のアプリケーショントラフィックから有用な例を収集するようになりました。Python、JavaScript、および curl の例については、アプリケーションを接続するを参照してください。

Step 5: データセットを作成する

project に代表的なトラフィックが集まったら、データセットを作成します。サンプルを確認し、質の低いものを削除します。新しいモデルが現在のモデルよりも優れた動作を学習するようにしたい場合は、回答を改善してください。最初のデータセットを作成して検査するには、Datasets クイックスタートに従ってください。

Step 6: 複数のモデルをファインチューン

データセットから1つ以上の候補モデルをトレーニングします。いくつかの候補を試すことで、品質、速度、コストの適切なバランスを検索する可能性が高まります。ファインチューニングクイックスタートに従って、トレーニングジョブを開始します。

ステップ 7: 候補を評価する

保存したい回答とすべての候補を比較します。全体の結果と個々のサンプルを確認してから、勝者を選んでください。最初の比較を実行するには、評価クイックスタートに従ってください。

ステップ 8: 最も優れたモデルをデプロイする

最も優れたモデルをprojectのルーティングに追加します。最初はトラフィックのごく一部だけを割り当てて徐々に割合を増やし、ロールバックに備えて元のモデルもすぐに使える状態にしておけます。アプリケーションはこれまでと同じプロキシモデル名を呼び出すだけで、割り当てた割合のトラフィックを新しいモデルが処理するようになります。

最初のモデルをトレーニングしてデプロイする

各判断の詳細を含め、手動ワークフロー全体を順を追って確認できます。

​ステップ 1: W&B でサインイン

​ステップ 2: 現在のモデルプロバイダーを登録する

​ステップ 3: project を作成する

​ステップ 4: アプリケーションを接続する

​Step 5: データセットを作成する

​Step 6: 複数のモデルをファインチューン

​ステップ 7: 候補を評価する

​ステップ 8: 最も優れたモデルをデプロイする

最初のモデルをトレーニングしてデプロイする

ステップ 1: W&B でサインイン

ステップ 2: 現在のモデルプロバイダーを登録する

ステップ 3: project を作成する

ステップ 4: アプリケーションを接続する

Step 5: データセットを作成する

Step 6: 複数のモデルをファインチューン

ステップ 7: 候補を評価する

ステップ 8: 最も優れたモデルをデプロイする