Serverless Inference - CoreWeave Docs

Serverless Inference を使用すると、W&B Weave と OpenAI 互換 API を通じて、主要なオープンソースの基盤モデルにアクセスできます。

Inference を使用すれば、ホスティングプロバイダーに登録したりモデルをセルフホストしたりすることなく、AI アプリケーションやエージェントを構築できます。
Weave を使用すると、Serverless Inference を活用したアプリケーションのトレース、評価、監視、改善を行えます。

UI で Inference を試す

https://forge.coreweave.com/inference にアクセスすると、利用可能なモデルを確認し、Weave Playground で実際に試すことができます。 Web インターフェースの詳細については、UI ガイドを参照してください。

API 経由で Inference を使用する

この Python の例では、Inference を使用して LLM にチャット補完リクエストを送信します。

import openai

client = openai.OpenAI(
    # Serverless Inference を指すカスタムのベース URL
    base_url='https://api.inference.wandb.ai/v1',

    # APIキーは https://forge.coreweave.com/settings で作成します
    api_key="<your-api-key>",

    # オプション: 使用量のトラッキングに使用するチームと project
    project="<your-team>/<your-project>",
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."}
    ],
)

print(response.choices[0].message.content)

次のステップ

前提条件に従ってアカウントを設定します。
利用可能なモデルと利用に関する情報と制限を確認します。
API または UI からサービスを使用します。
W&B Weave Playground で、サポートされるモデルを試します。
使用例を試します。

料金、使用量の制限、クレジットについては、利用に関する情報と制限を参照してください。

最終更新日 2026年9月30日

​UI で Inference を試す

​API 経由で Inference を使用する

​次のステップ

UI で Inference を試す

API 経由で Inference を使用する

次のステップ