キャパシティオプションの比較
すべての CKS オプションでは、設定済みのサンドボックスランナーと、そのワークロードを許可するポリシーが必要です。クラスターのキャパシティはお客様が管理します。CKS への配置を選択しても、ノードはプロビジョニングされません。各プランの契約条件については、キャパシティプランについてを参照してください。これらの CKS キャパシティオプションでサンドボックスを実行するには、独自のコンピューティングリソースを使用するの手順に従ってください。
アクセスとワークロードの要件を確認する
要件によっては、需要やコストを比較する前に選択肢から外れる場合があります。
サンドボックスあたりの GPU 数の上限は、サーバーレス配置と CKS 配置のどちらでも組織単位で適用されます。上限を超えるリクエストは
CWSANDBOX_GPU_COUNT_EXCEEDED で失敗します。上限の引き上げについては、サポートまたはアカウント担当チームにお問い合わせください。サンドボックスあたりの GPU 数を参照してください。
GPU サンドボックスを利用するには、サーバーレス配置と CKS 配置のいずれの場合も、別途プライベートプレビューへのアクセスが必要です。サポートされるクライアント、ハードウェア、分離の要件については、GPU サンドボックスを実行するを参照してください。CKS のランタイム設定については、サンドボックスポリシーを設定するを参照してください。
サンドボックスを所有するアカウントは、使用する認証情報によって決まります。Forge SaaS と CoreWeave のアカウントについては、CoreWeave Infrastructure と Forge の請求を参照してください。専用クラウドインスタンスのキーを使用する場合は、請求条件と実際に適用される制限をアカウント担当チームに確認してください。Forge アカウントのデフォルトだけでは、インスタンスのクォータは決まりません。W&B 専用クラウドでサンドボックスを使用するを参照してください。
バーストやフォールバックの経路を計画する前に、認証情報の選択と取得と制限とクォータを確認してください。CKS サンドボックスは、サーバーレスサンドボックスの同時実行クォータにはカウントされません。
定常的な需要とバーストに備えた計画
継続的に使用するキャパシティと、時折発生するピークは分けて考えます。次の図は、定常的なベースラインと、その上に発生するバーストを示しています。これは計画上のパターンを表したものであり、測定使用量、価格比較、自動配置の動作を示すものではありません。- 定常的な需要: 継続的な使用には Reserved Instances を検討してください。適切な未使用の予約キャパシティがすでにある場合は、追加でコミットする前に、それを使用できるかどうかを評価してください。
- ピークの確保が必要な変動需要: 一部がアイドル状態になってもピーク時のキャパシティを確保しておくことが重要な場合は、Flex Reservations を検討してください。
- 時折発生するバースト: 追加のノードを管理せずに済むよう、サーバーレスを検討してください。CKS への配置が必要で、キャパシティを利用できない場合があっても許容できるなら、On-Demand も選択肢になります。
- 再起動可能な処理: 再試行が可能で、完了時間に柔軟性がある場合は、Spot を検討してください。需要の形状だけでは、中断しても安全かどうかは判断できません。
スケーリングと中断に関する制限
Node Pool のオートスケーリングは、サンドボックス作成に必要なキャパシティを保証するものではありません。また、スピルオーバーによって中断された処理が復旧されることもありません。Node Pool のオートスケーリング
CKS の Cluster Autoscaler は、スケジュールできない Pod に応じてノードを追加します。一方、サンドボックスの配置処理では、Pod を作成する前にキャパシティ不足を理由としてリクエストが拒否される場合があります。この場合、保留中の Pod が存在しないため、スケールアップはトリガーされません。サンドボックスのタイムアウトを長くしても、このトリガーは発生しません。 この制限は、Node Pool のキャパシティプランにかかわらず、独自の CKS クラスター上のサンドボックスに適用されます。CKS Node Pool をゼロからスケールさせる手段として、受信するサンドボックスリクエストに頼らないでください。需要に先立ってキャパシティをプロビジョニングする、準備完了状態のキャパシティを十分に確保しておく、または急増時にサーバーレスを使用するといった対策を取ってください。キャパシティ予約で保証されるのは予約そのものであり、ノードがサンドボックスリクエストを受け付けられる準備完了状態にあることまでは保証されません。Spot の中断
Spot の回収により、実行中のサンドボックスが中断されることがあります。Spot は、アプリケーションが安全に再試行できる処理に使用してください。復旧に必要な結果やチェックポイントは、中断されたサンドボックスの外部に保存してください。ノードの終了シーケンスについては、インスタンスのプリエンプションを参照してください。 Spot Node Pool は、キャパシティが再び利用可能になるとノードを補充できます。ただし、ノードが置き換えられても、実行中だったサンドボックスの状態は復旧されません。配置モード間のスピルオーバー
Python の自動スピルオーバーは、対象となる配置エラーが発生した場合に、もう一方の配置モードでサンドボックスの作成を 1 回だけ再試行します。実行中のサンドボックスを移行したり、Spot の回収によって中断された処理を復旧したりすることはありません。 スピルオーバーを利用するには、サーバーレスへのアクセス権があり、CKS ランナーが設定済みの組織の CoreWeave API アクセストークンが必要です。リソースポリシーと制限は、モードごとに個別に適用されます。TypeScript クライアントは両方の配置モードをサポートしていますが、自動スピルオーバーには対応していません。テンプレートからサンドボックスを作成する場合とrun_from_file() を使用する場合は、スピルオーバーなしの厳格な配置が必要です。
設定、サポートされるスピルオーバーの方向、およびランナーの制限については、モード間のスピルオーバーを参照してください。