- AWS S3 の事前署名付き URL。これは CoreWeave AI Object Storage のような S3 互換ストレージにも適用されます。
- Google Cloud Storage の署名付き URL。
- Azure Blob Storage の共有アクセス署名。
- 必要に応じて、ネットワーク内の AI ワークロードまたはユーザーのブラウザークライアントが W&B に事前署名付き URL をリクエストします。
- W&B は必要な権限を持つ事前署名付き URL を生成するためにブロブストレージにアクセスしてリクエストに応答します。
- W&B は事前署名付き URL をクライアントに返します。
- クライアントは事前署名付き URL を使用してブロブストレージから読み取りまたは書き込みを行います。
- Read 操作: 1 時間。
- Write 操作: 大きなオブジェクトをチャンクでアップロードする時間を確保するため、24 時間。
チームレベルのアクセス制御
各事前署名付き URL は、W&B プラットフォームの チームレベルのアクセス制御 に基づいて特定のストレージバケットに制限されます。1 つのチームのみに所属するユーザーを考えてみましょう。そのチームは セキュアストレージコネクタ を使用してストレージバケットにマッピングされています。この場合、そのユーザーのリクエスト用に生成された事前署名付き URL は、他のチームにマッピングされたストレージバケットにアクセスできません。W&B では、必要なチームにのみユーザーを追加することを推奨しています。
ネットワーク制限
W&B では、IAM ポリシーを使用して、外部ストレージにアクセスするために事前署名付き URL を使用できるネットワークを制限することを推奨します。これにより、AI ワークロードを実行しているネットワーク、またはユーザーマシンをマッピングするゲートウェイ IP アドレスのみが、W&B 固有のバケットにアクセスできることを確実にします。 これらの IAM ポリシーの設定に関するガイダンスについては、ご利用のクラウドプロバイダーのドキュメントを参照してください。- CoreWeave AI Object Storage の場合、CoreWeave ドキュメントの バケットポリシー参照 を参照してください。
- AWS S3 またはオンプレミスでホストされている MinIO などの S3 互換ストレージの場合、Amazon S3 ユーザーガイド、MinIO ドキュメント、または S3 互換ストレージプロバイダーのドキュメントを参照してください。
監査ログ
W&B では、ブロブストレージ固有の監査ログと併せて W&B 監査ログ の使用を推奨しています。ブロブストレージの監査ログについては、各クラウドプロバイダーのドキュメントを参照してください。 管理者およびセキュリティチームは、監査ログを使用して W&B 内で各ユーザーが行う操作をトラッキングし、特定のユーザーに対して特定の操作を制限する必要がある場合にアクションを取ることができます。事前署名付き URL は、W&B でサポートされる唯一のブロブストレージアクセスメカニズムです。W&B では、組織のニーズに合わせて前述のセキュリティ制御の一部またはすべてを構成することを推奨しています。
事前署名付き URL をリクエストしたユーザーを特定する
事前署名付き URL のアクティビティを特定の W&B ユーザーと関連付けるために、監査ログを確認する際には、W&B が各 URL に追加するプロバイダー固有のクエリパラメーターを検査します。Azure Blob Storage のアクティビティをユーザーと関連付ける
Azure ではscid を GUID にする必要があります。W&B はユーザー名を直接含める代わりに、ユーザー名から安定した UUID を導出します。この UUID にはユーザー名が含まれておらず、デコードできません。Azure のストレージアクティビティをユーザーと関連付けるには、W&B のユーザー名と対応する scid 値のマッピングを計算または維持します。
Azure は user-delegation SAS URL にのみ scid を含めます。これはストレージバケットが managed identity で構成されている場合に W&B が生成するものです。Shared-key SAS URL には scid は含まれません。
W&B はデフォルトで attribution parameters を事前署名付き URL に追加します。すべてのストレージプロバイダーに対して attribution を無効にするには、
GORILLA_BUCKET_ATTRIBUTION_DISABLED 環境変数を true に設定します。attribution が off の場合、W&B は scid と X-User を省略するため、事前署名付き URL のアクティビティを個々のユーザーと関連付けることはできません。