Serverless RL を使用する

Serverless RL を使用すると、強化学習によって LLM をポストトレーニングできます。ユーザーは、エージェントの出力をスコアリングする報酬関数を定義します。Serverless RL は軌跡のバッチを収集し、スコアの高い動作が選ばれやすくなるように低ランクアダプター (LoRA アダプター) を更新します。アダプターは Weights & Biases アカウントにアーティファクトとして保存され、すべてのチェックポイントは Serverless Inference 上でホストされます。Serverless RL は現在パブリックプレビュー段階です。 Serverless RL は、OpenPipe の ART フレームワーク経由で実行することも、Serverless Training API から直接実行することもできます。

前提条件

開始する前に、以下が揃っていることを確認してください。

Forge アカウント。 お持ちでない場合は、サインアップしてください。
APIキー。 Forge でプロフィールアイコンをクリックし、Settings を選択して、Create new API key をクリックします。キーは後から再表示できないため、表示された時点でコピーしてください。このページのサンプルでは、WANDB_API_KEY 環境変数からキーを読み込みます。ART でキーをどこに設定するかについては、ART クイックスタートを参照してください。
Weights & Biases の project。 トレーニングメトリクスの記録と、トレーニング済みアダプターの保存に使用します。詳しくは Projects を参照してください。
報酬関数。 エージェントの出力をスコアリングする関数です。Serverless RL は、この関数が報酬を与える挙動に向けてトレーニングを行うため、この関数がタスクそのものを定義することになります。作成方法は ART クイックスタートで説明されています。
ART フレームワーク。 API を直接呼び出さずに ART を使用する場合に必要です。ART クイックスタートのインストール手順に従ってください。

また、利用に関する情報と制限でコストと制約を確認したうえで、利用可能なモデルからベースモデルを選択してください。

エージェントをトレーニングする

ART フレームワーク
Serverless Training API

ART は Serverless Training API をラップし、ロールアウト、報酬、チェックポイントを自動的に管理します。まずは ART から始めることをおすすめします。ART クイックスタートの手順に沿って進めるか、2048 をプレイするエージェントをエンドツーエンドでトレーニングするサンプルノートブックを開いてください。

独自のツールにトレーニングを統合する場合は、API を直接呼び出します。

POST /v1/preview/models でモデルを作成します。
POST /v1/chat/completions を使用してモデルの現在のチェックポイントにチャット補完リクエストを送信してロールアウトを生成し、報酬関数でスコアを付けます。
スコア付けした軌跡を POST /v1/preview/models/{model_id}/log でログします。
POST /v1/preview/training-jobs でトレーニングステップを開始し、GET /v1/preview/training-jobs/{training_job_id} をポーリングして進行状況を確認します。

API のベース URL と認証の詳細については、API の概要を参照してください。

トレーニング済みモデルを使用する

モデルをトレーニングすると、そのモデルは自動的に推論に使用できるようになります。このセクションでは、トレーニング済みモデルのエンドポイントを構成してリクエストを送信する方法を説明します。これにより、モデルをアプリケーションや評価ワークフローに統合できます。Serverless SFT でトレーニングしたモデルにも同じ手順が適用されます。トレーニング済みモデルにリクエストを送信するには、以下が必要です。

APIキー。Forge の Settings で作成できます。
Serverless Training API のベース URL (https://forge.coreweave.com/api/training/v1/) 。
モデルのエンドポイント。

モデルのエンドポイントは次の形式です。

wandb-artifact:///[ENTITY]/[PROJECT]/[MODEL-NAME]:[STEP]

スキーマは次の要素で構成されます。

entity (チーム名)
モデルに関連付けられた project の名前
トレーニング済みモデルの名前
デプロイするモデルのトレーニングステップ。通常は、評価でモデルの性能が最も高かったステップを指定します。

たとえば、チーム名が email-specialists、project 名が mail-search、トレーニング済みモデルの名前が agent-001 で、ステップ 25 のモデルをデプロイする場合、エンドポイントは次のようになります。

wandb-artifact:///email-specialists/mail-search/agent-001:step25

エンドポイントを取得したら、通常の推論ワークフローに統合できます。以下の例では、cURL リクエストまたは Python OpenAI SDK を使用して、トレーニング済みモデルに推論リクエストを送信する方法を紹介します。ご利用の環境に合った例を選んでください。

cURL

curl https://forge.coreweave.com/api/training/v1/chat/completions \
    -H "Authorization: Bearer $WANDB_API_KEY" \
    -H "Content-Type: application/json" \
    -d '{
            "model": "wandb-artifact:///[ENTITY]/[PROJECT]/[MODEL-NAME]:[STEP]",
            "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Summarize our training run."}
            ],
            "temperature": 0.7,
            "top_p": 0.95
        }'

OpenAI SDK

from openai import OpenAI

WANDB_API_KEY = "[API-KEY]"
ENTITY = "[ENTITY]"
PROJECT = "[PROJECT]"

client = OpenAI(
    base_url="https://forge.coreweave.com/api/training/v1",
    api_key=WANDB_API_KEY
)

response = client.chat.completions.create(
    model=f"wandb-artifact:///{ENTITY}/{PROJECT}/[MODEL-NAME]:[STEP]",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Summarize our training run."},
    ],
    temperature=0.7,
    top_p=0.95,
)

print(response.choices[0].message.content)

ストレージを節約するには、不要になったチェックポイントを削除してください。詳しくは、利用に関する情報と制限を参照してください。

​前提条件

​エージェントをトレーニングする

​トレーニング済みモデルを使用する

​cURL

​OpenAI SDK

前提条件

エージェントをトレーニングする

トレーニング済みモデルを使用する

cURL

OpenAI SDK