サンドボックスの使用状況を表示する

サーバーレスサンドボックスの使用状況は、組織内の他の課金対象プロダクトと同様に Forge コンソールに表示されます。組織管理者は、すべてのチームの使用状況を確認できます。チーム管理者も同じチャートを確認できますが、表示されるのは自身が管理するチームの分のみです。

使用量の推移を表示する

This feature isn’t enabled for every organization yet. If you don’t see it, contact Support or your AISE.

デプロイメントタイプを選択してください。

Multi-tenant Cloud
専用クラウドとセルフマネージド

右上隅にあるユーザープロフィールアイコンをクリックします。
Account セクションで Billing をクリックします。
使用量とアラート タブをクリックします。
サイドバーで Sandboxes を選択すると、使用量の推移 チャートが表示されます。

チャートの操作方法やその他の使用量カテゴリについては、請求設定を管理するを参照してください。 Forge のサンドボックスの請求では、どのプランでも使用量アラートと支出アラートはサポートされていません。

サンドボックスのメトリクスを Weights & Biases の run にログする

Session を使用すると、作成されたサンドボックス数、実行数、成功率、起動時間などのクライアント側のサンドボックスメトリクスを、実行中の Weights & Biases の run にログできます。これらのメトリクスは、コードがサンドボックスをどのように使用しているかを示すもので、CPU やメモリの使用量は含まれません。有効化の方法とメトリクスの完全なリストについては、RL トレーニングの Weights & Biases メトリクスインテグレーションのセクションを参照してください。

CoreWeave の組織メトリクスを監視する

CoreWeave Sandboxes は、実行中のすべてのサンドボックスの状態を示すメトリクスを組織単位でパブリッシュします。具体的には、実行中のサンドボックスの数、リクエストされたリソース、CPU とメモリの消費量などです。これらのメトリクスを使用して、フリートのアクティビティのトラッキング、使用量の内訳の把握、独自のダッシュボードやアラートの構築を行えます。

前提条件

メトリクスは、CoreWeave がホストする Grafana インスタンスの Explore セクションで確認できます。Grafana にアクセスするには、CoreWeave Cloud Console にログインしたうえで、admin、metrics、write のいずれかのグループのメンバーである必要があります。 API アクセストークンを使用すれば、observe.coreweave.com のメトリクス API から同じメトリクスをプログラムでクエリすることもできます。

クエリの対象は、自動的にお客様の組織に限定されます。cluster または cluster_org のセレクターはお客様の組織に書き換えられるため、別の組織を参照するクエリを実行しても、空の結果ではなくお客様自身のデータが返されます。

共通ラベル

すべての cwsandbox_* メトリクスには、次のラベルが付与されます。

ラベル	説明	例	メモ
`org_id`	お客様の組織 ID	`abc123`	常にお客様自身の組織です。
`cluster`	定数 (`org_id` と同じ値)	`abc123`	サンドボックスの配置場所に関係なく、サンドボックスのメトリクスは常にこの疑似クラスターの下に格納されます。
`cluster_org`	組織 ID	`abc123`	クエリの対象範囲は自動的にその組織に限定されます。
`region`	サンドボックスフリートを提供するリージョン	`US-EAST-02`	リージョンの一覧を参照してください。
`zone`	サンドボックスフリートを提供するゾーン	`US-EAST-02A`	アベイラビリティゾーンの一覧を参照してください。

ラベルの仕様は、サンドボックスを CoreWeave が管理する共有キャパシティ上で実行する場合も、マネージドランナーを使用してお客様自身の CoreWeave Kubernetes Service (CKS) クラスター上で実行する場合も同じです。配置先ごとに使用量を分析するには、cwsandbox_sandbox_info の runner_id ラベルでグループ化してください。

ライフサイクルメトリクス

これらのメトリクスはサンドボックスのコントロールプレーンから取得され、約 30 秒ごとに更新されます。サンドボックスごとの時系列は、サンドボックスが実行中の間は存在し、停止後まもなく消去されます。

メトリクス `cwsandbox_sandboxes`

各ライフサイクル状態にある実行中のサンドボックスの数です。単位はサンドボックス (個) です。フィルタリングとグループ化には、次のラベルを使用できます。

ラベル	説明	例	メモ
`state`	ライフサイクル状態	`RUNNING`	値は `PLACING`、`CREATING`、`RUNNING`、`TERMINATING` のいずれかです。停止済みおよび完了済みのサンドボックスは含まれません。

メトリクス `cwsandbox_sandbox_info`

実行中の各サンドボックスのアイデンティティを保持する、値が常に 1 の時系列です。使用状況メトリクスにアイデンティティラベルを結合する際に使用します。次のラベルを使用して、フィルタリングやグループ化を行えます。

ラベル	説明	例	メモ
`sandbox_id`	サンドボックス ID	`0e0394fc-877b-4971-8e97-b99ea4f6bcd5`	サンドボックスの起動時に返された ID と一致します。
`profile_id`	サンドボックスの配置に使用されたプロフィール	`default`	プロフィールを参照してください。
`runner_id`	サンドボックスを処理しているランナー	`prod-east-14-managed`	独自のマネージドランナーを含め、配置先を識別します。
`image`	サンドボックスのコンテナーイメージ	`python:3.11-slim`	サンドボックスの起動に使用されたイメージです。

メトリクス `cwsandbox_sandbox_age_seconds`

実行中の各サンドボックスの、作成時からの経過時間です。単位は秒です。sandbox_id ラベルが付与されます。

メトリクス `cwsandbox_sandbox_requested_cpu_millicores`

各サンドボックスが受け入れ時にリクエストした CPU 量です。測定使用量ではありません。単位はミリコアです。sandbox_id ラベルが付与されます。

メトリクス `cwsandbox_sandbox_requested_memory_bytes`

各サンドボックスが受け入れ時にリクエストしたメモリ量です (測定使用量ではありません)。単位はバイトです。sandbox_id ラベルが付与されます。

メトリクス `cwsandbox_sandbox_requested_gpus`

各サンドボックスが受け入れ時にリクエストした GPU 数です。単位は GPU です。sandbox_id と gpu_type のラベルが付与されます。

使用状況メトリクス

これらのメトリクスは、各サンドボックスが実行されているノード上で測定され、約 30 秒ごとに更新されます。

メトリクス `cwsandbox_sandbox_cpu_usage_seconds_total`

各サンドボックスが消費した CPU 時間を表すカウンターです。単位は CPU 秒です。sandbox_id のラベルが付与されます。ウィンドウ内の消費量を算出するには、rate() または increase() を使用してください。

メトリクス `cwsandbox_sandbox_memory_working_set_bytes`

各サンドボックスの現在のワーキングセットメモリです。単位はバイトです。sandbox_id のラベルが付与されます。

使用量の値は、サンドボックスのワークロードコンテナーの値を反映しています。microVM 分離で実行されているサンドボックスの場合、値はゲスト内部から取得されるため、仮想化のオーバーヘッドやプラットフォームのサイドカープロセスは含まれません。ワークロードコンテナーが再起動すると CPU カウンターはリセットされますが、rate() と increase() によって自動的に処理されます。時系列に短い欠落がある場合は、データの収集が一時的に中断されたことを示します。古い値が報告されることはありません。

PromQL のサンプル

実行中のサンドボックス数の推移

sum(cwsandbox_sandboxes{state="RUNNING"})

サンドボックスごとの使用中の CPU コア数

rate(cwsandbox_sandbox_cpu_usage_seconds_total[5m])

プロフィールとランナーの情報を付加した CPU 使用量

使用量カウンターを sandbox_id をキーにして cwsandbox_sandbox_info と結合し、アイデンティティラベルを付加します。

rate(cwsandbox_sandbox_cpu_usage_seconds_total[5m])
* on (sandbox_id) group_left (profile_id, runner_id, image)
cwsandbox_sandbox_info

フリート全体で使用中のメモリの合計

sum(cwsandbox_sandbox_memory_working_set_bytes)

CPU 効率 (使用量とリクエスト量の比較)

sum(rate(cwsandbox_sandbox_cpu_usage_seconds_total[5m]))
/
(sum(cwsandbox_sandbox_requested_cpu_millicores) / 1000)

タイプ別のリクエスト済みGPU数

sum by (gpu_type) (cwsandbox_sandbox_requested_gpus)

実行時間が最も長いサンドボックス

topk(10, cwsandbox_sandbox_age_seconds)