​

Serverless Inference

• ホスティングプロバイダーへの登録やモデルのセルフホスティングを行わずに、AI アプリケーションやエージェントを開発する。
• Weave プレイグラウンド でサポートされるモデルを試す。

• 前提条件
  • Python 経由で API を使用するための追加の前提条件
• API 仕様
  • エンドポイント
  • 利用可能なメソッド
    • チャット補完
    • サポートされるモデルの一覧表示
• 使用例
• UI
  • Inference サービスにアクセスする
  • プレイグラウンドでモデルを試す
  • 複数のモデルを比較する
  • 請求と使用状況の情報を表示する
• 利用に関する情報と制限
• API エラー

​

前提条件

1. CoreWeave Forge アカウント。アカウントを作成してください。
2. APIキー。User Settings で APIキーを作成してください。
3. Weights & Biases の project。
4. Python から Inference サービスを使用する場合は、Python 経由で API を使用するための追加の前提条件を参照してください。

​

Python 経由で API を使用するための追加の前提条件

pip install openai weave

​

API 仕様

• エンドポイント
• 利用可能なメソッド
• 使用例

​

エンドポイント

https://api.inference.wandb.ai/v1

​

利用可能なメソッド

• チャット補完
• サポートされるモデルの一覧表示

​

チャット補完

• Inference サービスのベース URL https://api.inference.wandb.ai/v1
• W&B APIキー <your-api-key>
• W&B の entity 名とプロジェクト名 <your-team>/<your-project>
• 使用するモデルの ID (以下のいずれか):
  • meta-llama/Llama-3.1-8B-Instruct
  • deepseek-ai/DeepSeek-V3-0324
  • meta-llama/Llama-3.3-70B-Instruct
  • deepseek-ai/DeepSeek-R1-0528
  • meta-llama/Llama-4-Scout-17B-16E-Instruct
  • microsoft/Phi-4-mini-instruct

curl https://api.inference.wandb.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <your-api-key>" \
  -H "OpenAI-Project: <your-team>/<your-project>" \
  -d '{
    "model": "<model-id>",
    "messages": [
      { "role": "system", "content": "You are a helpful assistant." },
      { "role": "user", "content": "Tell me a joke." }
    ]
  }'

import openai

client = openai.OpenAI(
    # カスタムのベース URL で Serverless Inference を指定します
    base_url='https://api.inference.wandb.ai/v1',

    # APIキーは https://forge.coreweave.com/settings で作成できます
    # 安全のため、代わりに環境変数 OPENAI_API_KEY で設定することを推奨します
    api_key="<your-api-key>",

    # 使用量のトラッキングにはチームと project が必須です
    project="<your-team>/<your-project>",
)

# <model-id> を以下のいずれかの値に置き換えてください:
# meta-llama/Llama-3.1-8B-Instruct
# deepseek-ai/DeepSeek-V3-0324
# meta-llama/Llama-3.3-70B-Instruct
# deepseek-ai/DeepSeek-R1-0528
# meta-llama/Llama-4-Scout-17B-16E-Instruct
# microsoft/Phi-4-mini-instruct

response = client.chat.completions.create(
    model="<model-id>",
    messages=[
        {"role": "system", "content": "<your-system-prompt>"},
        {"role": "user", "content": "<your-prompt>"}
    ],
)

print(response.choices[0].message.content)

​

サポートされるモデルの一覧表示

curl https://api.inference.wandb.ai/v1/models \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <your-api-key>" \
  -H "OpenAI-Project: <your-team>/<your-project>" \

import openai

client = openai.OpenAI(
    base_url="https://api.inference.wandb.ai/v1",
    api_key="<your-api-key>",
    project="<your-team>/<your-project>"
)

response = client.models.list()

for model in response.data:
    print(model.id)

​

使用例

• 基本的な例: Weave で Llama 3.1 8B をトレースする
• 高度な例: Inference サービスで Weave Evaluations と Leaderboard を使用する

​

基本的な例：Weave で Llama 3.1 8B をトレースする

• @weave.op() でデコレートされた関数 run_chat を定義します。この関数は、OpenAI 互換クライアントを使用してチャット補完リクエストを送信します。
• Weave はトレースを記録し、W&B の entity と project (project="<your-team>/<your-project>") に関連付けます。
• Weave は関数を自動的にトレースし、その入力、出力、レイテンシー、メタデータ (モデル ID など) をログします。
• 結果はターミナルに出力され、トレースは Forge 上の指定した project の Traces タブに表示されます。

import weave
import openai

# トレース先となる Weave のチームと project を設定します
weave.init("<your-team>/<your-project>")

client = openai.OpenAI(
    base_url='https://api.inference.wandb.ai/v1',

    # APIキーは https://forge.coreweave.com/settings で作成します
    api_key="<your-api-key>",

    # W&B Inference の使用量のトラッキングに必須です
    project="wandb/inference-demo",
)

# Weave でモデルの Call をトレースします
@weave.op()
def run_chat():
    response = client.chat.completions.create(
        model="meta-llama/Llama-3.1-8B-Instruct",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Tell me a joke."}
        ],
    )
    return response.choices[0].message.content

# 関数を実行し、トレースされた Call をログします
output = run_chat()
print(output)

1. Forge にアクセスします。
2. Traces タブを選択して、Weave トレースを表示します。

​

高度な例: Inference サービスで Weave Evaluations と Leaderboard を使用する

import os
import asyncio
import openai
import weave
from weave.flow import leaderboard
from weave.trace.ref_util import get_ref

# トレースに使用する Weave のチームと project を設定します
weave.init("<your-team>/<your-project>")

dataset = [
    {"input": "What is 2 + 2?", "target": "4"},
    {"input": "Name a primary color.", "target": "red"},
]

@weave.op
def exact_match(target: str, output: str) -> float:
    return float(target.strip().lower() == output.strip().lower())

class WBInferenceModel(weave.Model):
    model: str

    @weave.op
    def predict(self, prompt: str) -> str:
        client = openai.OpenAI(
            base_url="https://api.inference.wandb.ai/v1",
            # APIキーは https://forge.coreweave.com/settings で作成します
            api_key="<your-api-key>",
            # W&B Inference の使用量のトラッキングに必須です
            project="<your-team>/<your-project>",
        )
        resp = client.chat.completions.create(
            model=self.model,
            messages=[{"role": "user", "content": prompt}],
        )
        return resp.choices[0].message.content

llama = WBInferenceModel(model="meta-llama/Llama-3.1-8B-Instruct")
deepseek = WBInferenceModel(model="deepseek-ai/DeepSeek-V3-0324")

def preprocess_model_input(example):
    return {"prompt": example["input"]}

evaluation = weave.Evaluation(
    name="QA",
    dataset=dataset,
    scorers=[exact_match],
    preprocess_model_input=preprocess_model_input,
)

async def run_eval():
    await evaluation.evaluate(llama)
    await evaluation.evaluate(deepseek)

asyncio.run(run_eval())

spec = leaderboard.Leaderboard(
    name="Inference Leaderboard",
    description="Compare models on a QA dataset",
    columns=[
        leaderboard.LeaderboardColumn(
            evaluation_object_ref=get_ref(evaluation).uri(),
            scorer_name="exact_match",
            summary_metric_path="mean",
        )
    ],
)

weave.publish(spec)

• Traces タブにアクセスして、トレースを表示します。
• Evals タブにアクセスして、モデル評価を表示します。
• Leaders タブにアクセスして、生成された Leaderboard を表示します。

​

UI

​

Inference サービスにアクセスする

• 直接リンク
• Inference タブから
• プレイグラウンド タブから

​

直接リンク

​

Inference タブから

1. Forge で CoreWeave Forge アカウントにアクセスします。
2. 左サイドバーで Inference を選択します。利用可能なモデルとその情報を示すページが表示されます。

​

プレイグラウンド タブから

1. 左サイドバーで プレイグラウンド を選択します。プレイグラウンド のチャット UI が表示されます。
2. LLM ドロップダウンリストで Serverless Inference にカーソルを合わせます。右側に、利用可能な Serverless Inference モデルのドロップダウンが表示されます。
3. Serverless Inference モデルのドロップダウンでは、次の操作を行えます。
   • 利用可能なモデル名をクリックして、プレイグラウンド でそのモデルを試す。
   • プレイグラウンド で 1 つ以上のモデルを比較する。

​

プレイグラウンドでモデルを試す

• モデルの設定とパラメーターをカスタマイズする
• メッセージを追加、再試行、編集、削除する
• カスタム設定を適用したモデルを保存して再利用する
• 複数のモデルを比較する

​

複数のモデルを比較する

• Inference タブから Compare ビューにアクセスする
• プレイグラウンド タブから Compare ビューにアクセスする

​

Inference タブから Compare ビューにアクセスする

1. 左サイドバーで Inference を選択します。利用可能なモデルとその情報を一覧表示するページが開きます。
2. 比較するモデルを選択するには、モデルカード上の任意の場所 (モデル名以外) をクリックします。選択されたモデルカードは、枠線が青色で強調表示されます。
3. 比較するモデルごとにステップ 2 を繰り返します。
4. 選択したいずれかのカードで、Compare N models in the Playground ボタンをクリックします (N は比較するモデルの数です。たとえば、3 つのモデルを選択した場合、ボタンには Compare 3 models in the Playground と表示されます)。Comparison ビューが開きます。

​

プレイグラウンド タブから Compare ビューにアクセスする

1. 左サイドバーから プレイグラウンド を選択します。プレイグラウンド のチャット UI が表示されます。
2. LLM ドロップダウンリストで Serverless Inference にカーソルを合わせます。利用可能な Serverless Inference モデルのドロップダウンが右側に表示されます。
3. ドロップダウンから Compare を選択します。Inference タブが表示されます。
4. 比較するモデルを選択するには、モデルカードの任意の場所 (モデル名以外) をクリックします。選択されたモデルカードは、枠線が青色でハイライトされます。
5. 比較するモデルごとにステップ 4 を繰り返します。
6. 選択したいずれかのカードで、Compare N models in the プレイグラウンド ボタンをクリックします (N は比較するモデルの数です。たとえば、3 つのモデルを選択した場合、ボタンには Compare 3 models in the プレイグラウンド と表示されます)。Comparison ビューが開きます。

​

請求と使用状況の情報を表示する

1. Weights & Biases UI で、W&B の Billing ページにアクセスします。
2. 画面右下に Inference の請求情報カードが表示されます。このカードでは次の操作ができます。
   • Inference の請求情報カードにある View usage ボタンをクリックすると、使用状況の推移を確認できます。
   • 有料プランをご利用の場合は、今後発生する Inference の料金を確認できます。

​

利用に関する情報と制限

​

地理的制限

​

同時実行制限

• 不正利用を防ぎ、API の安定性を保護する。
• すべてのユーザーがアクセスできるようにする。
• インフラストラクチャーの負荷を効率的に管理する。

​

料金

​

API エラー