Integrate sandboxes with the SUNK Pod Scheduler

​

前提条件

• SUNK がデプロイされ、SUNK Pod Scheduler が有効になっている CKS クラスター。
• 同じクラスターにデプロイされた CoreWeave サンドボックス ランナー。
• インストールおよび認証済みの CoreWeave Intelligent CLI (cwic) v1.44.0 以降。セットアップの詳細については、ランナーのデプロイと管理 を参照してください。
• ランナーのポリシーを読み取りおよび更新するための sandbox_admin ロール、および Slurm デプロイメントを更新する権限。
• v1 サンドボックス API 用の、インストールおよび認証済みの cwsandbox >= 1.0.0。
• クラスター検査用の kubectl および yq。HTTP の例では curl、jq、および $TOKEN 内の CoreWeave API トークンも使用します。

​

ステップ 1: SUNK Pod Scheduler の検証

1. スケジューラーが実行中であることを検証します:
   kubectl get pods -n tenant-slurm -l app.kubernetes.io/name=sunk-scheduler
   
   Pod が返されない場合は、Slurm Helm values で scheduler.enabled: true を設定してスケジューラーを有効にしてください。詳細は Enable the scheduler を参照してください。
2. スケジューラー名を確認します。この名前はステップ 2 でランナーのポリシーに設定します。SUNK 8.0 以降では、スケジューラーは ConfigMap から名前を読み取ります:
   kubectl get configmap -n tenant-slurm -l app.kubernetes.io/component=scheduler \
     -o jsonpath='{.items[0].data.scheduler\.conf}' | yq '.scheduler.name'
   
   slurm-scheduler
   
   SUNK 7.x では、代わりにスケジューラー Pod の --scheduler-name 引数で名前が指定されます。内部の動作については Look up the scheduler configuration を参照してください。
3. KillWait の値を確認します。この値は Pod の終了を確認する際に使用します:
   kubectl get pods -n tenant-slurm -l app.kubernetes.io/name=sunk-scheduler -o yaml \
     | yq '.items[0].spec.containers[] | select(.name == "scheduler").args'
   
   出力で --slurm-kill-wait を確認します:
   - --slurm-kill-wait=30s
   
4. サンドボックス Pod 向けに Slurm の終了ウィンドウを設定します。SUNK では、terminationGracePeriodSeconds が --slurm-kill-wait から 5 秒を引いた値より厳密に小さい必要があります。 ポリシーでは base.spec.terminationGracePeriodSeconds を指定できません。Kubernetes のデフォルトである 30 秒の猶予期間を持つ Pod の場合は、KillWait を 35 秒より大きい値に設定してください。たとえば、次の内容を Slurm Helm values にマージし、通常の SUNK デプロイ手順で更新を適用します:
   slurmConfig:
     KillWait: 60
   
   この変更は、クラスター全体のジョブに対する Slurm の終了ウィンドウに影響します。前述のコマンドを実行し、スケジューラーが --slurm-kill-wait=60s を報告していることを検証してください。詳細は Slurm configuration parameters および Set the termination grace period を参照してください。
   スナップショット対応ストレージを使用するサンドボックスでは、Pod の猶予期間が 300 秒になる場合があります。KillWait が 60 秒では、これらの Pod には不十分です。生成された Pod の terminationGracePeriodSeconds を確認し、KillWait をその値に 5 秒を加えた値より大きく設定してください。300 秒の場合は、330 などの値を使用します。スケジューラーの kill-wait 設定は Slurm の設定と一致させてください。
5. スケジューラーのスコープがサンドボックスの namespace を対象に含んでいることを確認します。namespace の選択はランナーが管理するもので、ポリシーのフィールドではありません。新規ユーザー用に作成されるものも含め、すべてのサンドボックス namespace を監視するには、scheduler.scope.type: cluster を設定してください。scheduler.scope.type: namespace を使用する場合は、各サンドボックス namespace を scheduler.scope.namespaces に追加し、新しい namespace が作成されるたびにリストを更新してください。スコープの変更は Helm で適用してください。これにより、スケジューラーにそれらの namespace で必要な RBAC 権限も付与されます。詳細は Enable the scheduler を参照してください。
6. サンドボックスと共有する NodeSet で、slurmd のリソースリクエストを引き下げます。これはサンドボックスの設定ではなく、Slurm 側 (Slurm Helm values) で行う変更です。デフォルトの NodeSet リソースリクエストは Kubernetes のノードの割り当て可能キャパシティの大部分を占有するため、サンドボックス Pod を配置する余地が残りません。この変更を行わないと、サンドボックス Pod は OutOfMemory または OutOfcpu エラーで拒否されます。設定の詳細は SUNK Pod Scheduler を使用したリソースの管理 を参照してください。

​

ステップ 2: ランナーのポリシーを設定する

base:
  spec:
    schedulerName: "slurm-scheduler"

cwic sandbox runner policy get [RUNNER-ID]
cwic sandbox runner policy edit [RUNNER-ID]

cwic sandbox runner policy validate -f slurm-policy.yaml
cwic sandbox runner policy edit [RUNNER-ID] -f slurm-policy.yaml

curl --fail-with-body --silent --show-error -X POST \
  'https://api.coreweave.com/coreweave.sandbox.v1.RunnerManagementService/GetManagedRunner' \
  -H "Authorization: Bearer $TOKEN" \
  -H "Content-Type: application/json" \
  -H "Connect-Protocol-Version: 1" \
  --data '{"runnerId": "[RUNNER-ID]"}' \
  -o runner.json

jq -e '
  if .policy == null or .etag == null then
    error("Read a configured runner policy and its etag before updating")
  else . end |
  .policy.base.spec.schedulerName = "slurm-scheduler" |
  {
    runnerId: .identity.runnerId,
    managedRunner: {identity: .identity, policy: .policy, etag: .etag},
    updateMask: "policy"
  }' runner.json > runner-policy-update.json

curl --fail-with-body -X POST \
  'https://api.coreweave.com/coreweave.sandbox.v1.RunnerManagementService/UpdateManagedRunner' \
  -H "Authorization: Bearer $TOKEN" \
  -H "Content-Type: application/json" \
  -H "Connect-Protocol-Version: 1" \
  --data-binary @runner-policy-update.json

​

ステップ 3: サンドボックスを作成する

from cwsandbox import Sandbox

with Sandbox.run(placement_mode="cks", runner_ids=["[RUNNER-ID]"]) as sb:
    print(f"Sandbox ID: {sb.sandbox_id}")
    result = sb.exec(["hostname"]).result()
    print(result.stdout)

sacct --format=JobID,JobName%60,State,NodeList -X | grep [SANDBOX-ID]

from cwsandbox import Sandbox, SandboxDefaults

defaults = SandboxDefaults(
    placement_mode="cks",
    runner_ids=("[RUNNER-ID]",),
)

with Sandbox.session(defaults) as session:
    sb1 = session.sandbox()
    sb2 = session.sandbox()

    r1 = sb1.exec(["hostname"]).result()
    r2 = sb2.exec(["hostname"]).result()
    print(f"sb1: {r1.stdout.strip()}, sb2: {r2.stdout.strip()}")

​

リソースリクエストと Slurm アカウンティング

requests={"cpu": "500m", "memory": "512Mi"},
limits={"cpu": "2",     "memory": "2Gi"},

​

ステップ 4: Slurm アノテーションで配置を制御する

from cwsandbox import Sandbox

sb = Sandbox.run(
    placement_mode="cks",
    runner_ids=["[RUNNER-ID]"],
    annotations={
        "sunk.coreweave.com/partition": "hpc-prod",
    },
)

​

共通のアノテーション

id -u           # ご自身の UID
id -u [USERNAME]  # 他の方の UID
whoami          # 必要に応じてまずユーザー名を確認してください

​

ポリシーでアノテーションを強制する

base:
  metadata:
    annotations:
      sunk.coreweave.com/partition: "sandboxes"
  spec:
    schedulerName: "slurm-scheduler"

​

トレーニング ジョブの Slurm ユーザーに合わせる

import os
from cwsandbox import Sandbox, SandboxDefaults

slurm_uid = os.environ["SLURM_JOB_UID"]

defaults = SandboxDefaults(
    placement_mode="cks",
    runner_ids=("[RUNNER-ID]",),
    annotations={
        "sunk.coreweave.com/user-id": slurm_uid,
    },
)

with Sandbox.session(defaults) as session:
    sb = session.sandbox()
    result = sb.exec(["hostname"]).result()
    print(result.stdout)

​

トラブルシューティング

​

Pod が Pending のままになる

kubectl get pods -A -l 'sandbox.coreweave.com/sandbox-id=[SANDBOX-ID]' \
  -o custom-columns='NAMESPACE:.metadata.namespace,NAME:.metadata.name,SCHEDULER:.spec.schedulerName,GRACE:.spec.terminationGracePeriodSeconds,PARTITION:.metadata.annotations.sunk\.coreweave\.com/partition'

​

プレースホルダージョブが一時的に completing 状態になる

​

サンドボックスが想定した場所に配置されない場合

sacct --format=JobID,JobName%60,Partition,Account,AllocCPUS,ReqMem,State,NodeList,Start,End -X \
  | grep [SANDBOX-ID]

​

関連項目

• CoreWeave Sandboxes について
• ランナーのデプロイと管理
• サンドボックスポリシーを設定する
• SUNK Pod Scheduler で Kubernetes Pod をスケジュールする
• サンドボックスを使用した RL トレーニング
• サンドボックスの設定