Bring your own bucket for file system snapshots

1. CoreWeave 組織内の OIDC プロバイダー (Workload Identity Federation 設定)。これにより、CoreWeave がサンドボックスごとに発行するトークンを、組織内の一時的な認証情報と交換できます。
2. バケットのバケットポリシー。フェデレーションされたアイデンティティに、FSS に必要な範囲のアクセス権を付与します。
3. 1 回の呼び出しによる、CoreWeave へのバケット登録。

​

FSS によるバケットの使用方法

1. CoreWeave は、そのサンドボックス用の短期有効な OIDC JWT を発行します。このトークンは https://oidc.cwsandbox.com によって発行され、オーディエンスは cw-credential-vendor であり、組織、ユーザー、バケット、およびサンドボックスによる操作が許可される具体的なオブジェクトを識別するクレームを含みます。
2. サンドボックス内で、AWS SDK は Workload Identity Federation を通じてそのトークンをバケットに限定された一時的な S3 認証情報と交換し、自動的にローテーションします。
3. バケットポリシーは、そのフェデレーションされたアイデンティティを承認します。アクセスをユーザーごとの接頭辞と、お客様の組織のみに制限します。

​

必要な値

​

ステップ 1: OIDC プロバイダーを登録する

https://console.coreweave.com/organization/iam/workload-federation/oidc

​

ステップ 2: バケットポリシーをアタッチする

• [BUCKET-NAME] をバケット名に置き換えます。
• [ORG-ID] を、出現するすべての箇所で 6 文字の組織 ID に置き換えます。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "OIDCFederatedScopedAccess",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::[ORG-ID]:role/https://oidc.cwsandbox.com:*"
      },
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:AbortMultipartUpload",
        "s3:ListMultipartUploadParts",
        "s3:CreateMultipartUpload",
        "s3:UploadPart",
        "s3:CompleteMultipartUpload"
      ],
      "Resource": "arn:aws:s3:::[BUCKET-NAME]/${oidc:[ORG-ID]:user_hash}/*",
      "Condition": {
        "StringEquals": {
          "oidc:[ORG-ID]:org_id": "[ORG-ID]",
          "oidc:[ORG-ID]:bucket_name": "[BUCKET-NAME]"
        }
      }
    },
    {
      "Sid": "OIDCFederatedRestoreObjectScope",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::[ORG-ID]:role/https://oidc.cwsandbox.com:*"
      },
      "Action": "s3:GetObject",
      "Resource": "arn:aws:s3:::[BUCKET-NAME]/${oidc:[ORG-ID]:restore_object_key}",
      "Condition": {
        "StringEquals": {
          "oidc:[ORG-ID]:org_id": "[ORG-ID]",
          "oidc:[ORG-ID]:bucket_name": "[BUCKET-NAME]"
        }
      }
    },
    {
      "Sid": "DenyCrossOrg",
      "Effect": "Deny",
      "Principal": {
        "AWS": "arn:aws:iam::[ORG-ID]:role/https://oidc.cwsandbox.com:*"
      },
      "Action": "s3:*",
      "Resource": [
        "arn:aws:s3:::[BUCKET-NAME]",
        "arn:aws:s3:::[BUCKET-NAME]/*"
      ],
      "Condition": {
        "StringNotEquals": {
          "oidc:[ORG-ID]:org_id": "[ORG-ID]"
        }
      }
    }
  ]
}

​

各ステートメントの役割

• OIDCFederatedScopedAccess は、スナップショット操作の読み取りと書き込みを許可します。対象はユーザーごとの接頭辞 ${oidc:[ORG-ID]:user_hash}/* に限定されます。各ユーザーのトークンは、そのユーザー自身のハッシュ化された接頭辞配下のキーにのみ解決されるため、組織内のユーザーが互いのスナップショットを上書きすることはできません。bucket_name 条件により、別のバケット用に発行されたトークンがここで使用されることを防ぎます。
• OIDCFederatedRestoreObjectScope は、リストアで読み取る特定のオブジェクト ${oidc:[ORG-ID]:restore_object_key} のみに GetObject を許可します。これにより、ユーザーごとの書き込み範囲の制限を維持しながら、サンドボックスで組織内の別のユーザーが作成したスナップショットをリストアできます。
• DenyCrossOrg は、多層防御のためのステートメントです。トークンの org_id クレームが自分の組織と一致しない場合、すべての操作を拒否するため、漏えいしたトークンや誤って転送されたトークンであっても、バケットにアクセスできません。

​

ステップ 3: バケットを CoreWeave に登録する

curl -X PUT https://api.cwsandbox.com/v1beta2/file-system-snapshots/bucket-config \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer [CW-TOKEN]" \
  -d '{
    "bucketName": "[BUCKET-NAME]",
    "region": "[REGION]"
  }'

• api.cwsandbox.com は標準のサンドボックス API ホストで、データプレーンがサンドボックスの起動などの他の呼び出しに使用するものと同じです。
• この呼び出しには、アクセスポリシー ページで付与される SANDBOX_ADMIN IAM action が必要です。バケットを変更すると、以降のすべてのスナップショットの保存先が変わるため、管理者権限が必要です。バケットの変更または元に戻す方法を参照してください。
• bucketName と region は両方とも必須です。片方だけを送信すると、CWSANDBOX_INVALID_REQUEST で拒否されます。

{
  "bucketName": "my-fss-bucket",
  "region": "US-EAST-01A",
  "mode": "FILE_SYSTEM_SNAPSHOT_BUCKET_MODE_BRING_YOUR_OWN",
  "effectiveBucketName": "my-fss-bucket"
}

curl https://api.cwsandbox.com/v1beta2/file-system-snapshots/bucket-config \
  -H "Authorization: Bearer [CW-TOKEN]"

​

ステップ 4: 確認

1. 新しいファイルシステムでサンドボックスを起動します。
   curl -X POST https://api.cwsandbox.com/v1beta2/sandboxes \
     -H "Authorization: Bearer [CW-TOKEN]" \
     -H "Content-Type: application/json" \
     -d '{
       "containerImage": "ubuntu:22.04",
       "command": "sleep",
       "args": ["3600"],
       "fileSystem": { "mountPath": "/work", "size": "10Gi" }
     }'
   
2. /work 配下にファイルを書き込み、サンドボックスを停止して、停止時にスナップショットを作成します。[SANDBOX-ID] を起動したサンドボックスの ID に置き換えてください。応答には fileSystemSnapshotId が返されます。
   curl -X POST https://api.cwsandbox.com/v1beta2/sandboxes/[SANDBOX-ID]/stop \
     -H "Authorization: Bearer [CW-TOKEN]" \
     -H "Content-Type: application/json" \
     -d '{
       "sandboxId": "[SANDBOX-ID]",
       "fileSystemSnapshotOnStop": true,
       "waitForReady": true,
       "maxTimeoutSeconds": 600
     }'
   
3. 新しいサンドボックスにリストアします。[SNAPSHOT-ID] を前のステップで返された fileSystemSnapshotId に置き換えてください。
   curl -X POST https://api.cwsandbox.com/v1beta2/sandboxes \
     -H "Authorization: Bearer [CW-TOKEN]" \
     -H "Content-Type: application/json" \
     -d '{
       "containerImage": "ubuntu:22.04",
       "command": "sleep",
       "args": ["3600"],
       "fileSystem": {
         "mountPath": "/work",
         "size": "10Gi",
         "fileSystemSnapshot": { "fileSystemSnapshotId": "[SNAPSHOT-ID]" }
       }
     }'
   

​

バケットを変更する、または元に戻す

• CoreWeave による管理に戻す: 空の本文 ({}) で PUT を実行します。CoreWeave が自動的にバケットの管理を再開します。
• 別のバケットに移行する: 新しい bucketName と region で PUT を実行します。

​

Troubleshooting

​

リファレンス

​

バケット名のルール

​

許可される S3 action

​

ポリシーで使用するトークンクレーム

​

関連リソース

• ファイルシステムスナップショット: スナップショット、リストア、フォークの仕組み。
• OIDC で Workload Identity Federation を使用する: OIDC フェデレーションと Cloud Console の設定の仕組み。
• バケットを作成する: このガイドで作成済みと想定しているバケットを作成します。
• すべてのアベイラビリティゾーン: バケットのリージョンとして使用するゾーン。
• API アクセストークンを管理する: ステップ 3 で使用するトークンを作成します。
• IAM アクセスポリシー: ステップ 3 に必須の SANDBOX_ADMIN action を付与します。