GPU サンドボックスを実行する

​

分離レベルは配置モードによって異なります

​

始める前に

• 組織で GPU サンドボックスが有効になっていること。
• サーバーレスの例を実行するための、サーバーレスサンドボックスへのアクセス権を持つアカウントの Forge APIキーまたは CoreWeave API アクセストークン。CKS に配置する場合は、sandbox_user アイデンティティとアクセス管理 (IAM) action を持つ CoreWeave API アクセストークンが必要です。詳しくは、認証情報を選択して取得するを参照してください。

​

ワークロード用のイメージを選択する

​

認証を選択する

uv pip install 'cwsandbox[wandb]>=1.14.2'
export WANDB_API_KEY="[WANDB-API-KEY]"

from cwsandbox import AuthStrategy

AUTH = AuthStrategy.WANDB

uv pip install 'cwsandbox>=1.14.2'
export CWSANDBOX_API_KEY="[API-ACCESS-TOKEN]"

from cwsandbox import AuthStrategy

AUTH = AuthStrategy.COREWEAVE_API_KEY

​

GPU リクエストの仕組み

• GPU リクエストで確保されるのは GPU のみです。 CPU とメモリは、GPU と並行して実行する処理に見合ったサイズで明示的に設定してください。CPU とメモリの値を省略した場合は、ポリシーの defaultCpu と defaultMemory が使用されることがあります。ただしその場合でも、最終的に決定された割り当てがポリシーのリソース要件を満たしている必要があります。
• サンドボックスには GPU が 1 基単位で丸ごと割り当てられます。 GPU がサンドボックス間で共有、分割、またはタイムスライスされることはありません。
• サンドボックスは単一のノード上で実行されます。 サーバーレスキャパシティでは、サンドボックスに割り当てられる GPU は常に 1 基です。お使いの CKS クラスターでは、サンドボックスの最大サイズはノード 1 台分で、その GPU 数は GPU タイプによって異なります。GPU を 8 基搭載したノードでは、組織の上限とランナーのポリシーで許可されていれば、CKS のサンドボックスは最大 8 基の GPU をリクエストできます。複数の GPU をリクエストする場合は、その数の空き GPU と、リクエストした CPU およびメモリが、1 つのノード上で同時に確保できる必要があります。
• 組織には、サンドボックスあたりの GPU 数の上限があります。 CoreWeave が引き上げない限り、上限は 1 です。上限の引き上げを依頼するには、サポートまたはアカウント担当チームにお問い合わせください。上限を超えるリクエストは、CWSANDBOX_GPU_COUNT_EXCEEDED エラーで失敗します。
• GPU タイプは選択肢のメニューではなく、フィルターです。 オプションの type キーは、ランナーが提供する GPU タイプのいずれかと、大文字・小文字も含めて完全に一致している必要があります。省略すると、ランナーが持つどの GPU でも受け入れます。

​

サーバーレスキャパシティで GPU サンドボックスを実行する

​

利用可能な GPU

from cwsandbox import Sandbox, ScratchVolumeOptions
from sandbox_auth import AUTH

with Sandbox.run(
    auth=AUTH,
    placement_mode="serverless",
    resources={"cpu": "2", "memory": "8Gi", "gpu": 1},
    volumes=[ScratchVolumeOptions(name="work", mount_path="/work", size="20Gi")],
    max_lifetime_seconds=3600,
) as sandbox:
    result = sandbox.exec(["df", "-h", "/work"]).result()
    print(result.stdout)

​

サンドボックスを作成する

from cwsandbox import Sandbox
from sandbox_auth import AUTH

with Sandbox.run(
    auth=AUTH,
    placement_mode="serverless",
    resources={"cpu": "2", "memory": "8Gi", "gpu": 1},
    max_lifetime_seconds=3600,
) as sandbox:
    result = sandbox.exec(
        ["nvidia-smi", "--query-gpu=name,memory.total", "--format=csv"]
    ).result()
    print(result.stdout)
    print(sandbox.resource_gpu)

name, memory.total [MiB]
NVIDIA RTX PRO 6000 Blackwell Server Edition, 97887 MiB

{'count': 1}

​

CKS クラスターで GPU サンドボックスを実行する

​

前提条件

• GPU Node を備え、ランナーが Ready 状態にある CKS クラスター。独自のコンピュートを使用するを参照してください。
• そのランナーに設定された、GPU を許可するポリシー。resources の maxGpuCount で、各コンテナーがリクエストできる GPU 数の上限を指定します。上限を設けない場合は省略し、GPU リクエストを拒否する場合は 0 に設定します。GPU サンドボックスがクラスターのデフォルトのランタイムクラスで実行されるよう、defaultGpuRuntimeClass は設定しないでください。cw-kata-nvidia-gpu などの Kata ベースの GPU ランタイムクラスは、お客様の CKS クラスターではサポートされていません。各フィールドの詳細については、サンドボックスポリシーを設定するを参照してください。
• sandbox_user IAM action と、CWSANDBOX_API_KEY として設定された CoreWeave API アクセストークン。

​

ランナーで利用可能な GPU タイプを検索する

from cwsandbox import AuthStrategy, list_runners

for runner in list_runners(auth=AuthStrategy.COREWEAVE_API_KEY):
    print(runner.runner_id, runner.supported_gpu_types, runner.max_gpu_count)

​

サンドボックスを作成する

from cwsandbox import AuthStrategy, ResourceOptions, Sandbox

with Sandbox.run(
    auth=AuthStrategy.COREWEAVE_API_KEY,
    placement_mode="cks",
    resources=ResourceOptions(
        requests={"cpu": "8", "memory": "32Gi"},
        limits={"cpu": "8", "memory": "32Gi"},
        gpu={"count": 2, "type": "[GPU-TYPE]"},
    ),
    max_lifetime_seconds=3600,
) as sandbox:
    result = sandbox.exec(["nvidia-smi", "-L"]).result()
    print(result.stdout)
    print(sandbox.resource_gpu)

​

コンテナーイメージ

from cwsandbox import Sandbox
from sandbox_auth import AUTH

CHECK_GPU = """
import torch

print(torch.cuda.get_device_capability(0))
print(torch.cuda.get_arch_list())

x = torch.ones(32, device="cuda")
print((x + x).sum().item())
torch.cuda.synchronize()
"""

with Sandbox.run(
    auth=AUTH,
    placement_mode="serverless",
    container_image="pytorch/pytorch:2.8.0-cuda12.8-cudnn9-runtime",
    resources={"cpu": "2", "memory": "8Gi", "gpu": 1},
) as sandbox:
    result = sandbox.exec(["python", "-c", CHECK_GPU]).result()
    print(result.stdout)

(12, 0)
['sm_70', 'sm_75', 'sm_80', 'sm_86', 'sm_90', 'sm_100', 'sm_120']
64.0

​

よくあるエラー

​

次のステップ

• サンドボックスの設定 では、ResourceOptions の全フィールド、QoS クラス、タイムアウトについて説明します。
• サンドボックスポリシーを設定する では、管理者が CKS ランナーに設定する GPU、ランタイムクラス、リソースの制約について説明します。
• はじめに では、CPU のみのサーバーレスサンドボックスと認証情報について説明します。
• 独自のコンピュートを使用する では、ランナーのセットアップと、クラスター上での最初のサンドボックスについて説明します。