- AWS S3의 사전 서명된 URL: CoreWeave AI Object Storage와 같은 S3 호환 저장소에도 적용됩니다.
- Google Cloud Storage의 서명된 URL
- Azure Blob Storage의 공유 액세스 서명
- 필요한 경우 네트워크 내의 AI 워크로드 또는 사용자 브라우저 클라이언트가 W&B에 사전 서명된 URL을 요청합니다.
- W&B는 요청을 받으면 블롭 저장소에 액세스하여 필요한 권한이 부여된 사전 서명된 URL을 생성합니다.
- W&B가 사전 서명된 URL을 클라이언트에 반환합니다.
- 클라이언트는 사전 서명된 URL을 사용하여 블롭 저장소에서 데이터를 읽거나 씁니다.
- 조회 오퍼레이션: 1시간
- 쓰기 오퍼레이션: 24시간. 대용량 객체를 청크 단위로 업로드할 수 있도록 더 긴 시간이 주어집니다.
팀 수준 액세스 제어
각 사전 서명된 URL은 W&B Platform의 팀 수준 액세스 제어에 따라 특정 버킷에만 액세스하도록 제한됩니다. 예를 들어 어떤 사용자가 하나의 팀에만 속해 있고, 그 팀이 Secure Storage Connector를 통해 저장소 버킷에 매핑되어 있다고 가정해 보겠습니다. 이 경우 해당 사용자의 요청에 대해 생성된 사전 서명된 URL로는 다른 팀에 매핑된 저장소 버킷에 액세스할 수 없습니다.W&B는 사용자를 꼭 필요한 팀에만 추가할 것을 권장합니다.
네트워크 제한
W&B는 IAM 정책을 사용하여 사전 서명된 URL로 외부 저장소에 액세스할 수 있는 네트워크를 제한할 것을 권장합니다. 이렇게 하면 AI 워크로드를 실행하는 네트워크나 사용자 머신에 매핑된 게이트웨이 IP 주소만 W&B 전용 버킷에 액세스하도록 할 수 있습니다. 이러한 IAM 정책을 구성하는 방법은 사용 중인 클라우드 제공업체의 문서를 참고하세요.- CoreWeave AI Object Storage의 경우 CoreWeave 문서의 버킷 정책 레퍼런스를 참고하세요.
- AWS S3 또는 온프레미스에서 호스팅하는 MinIO 등의 S3 호환 저장소의 경우 Amazon S3 사용 설명서, MinIO 문서 또는 사용 중인 S3 호환 저장소 공급자의 문서를 참고하세요.
감사 로그
W&B는 W&B 감사 로그를 블롭 저장소 자체의 감사 로그와 함께 사용할 것을 권장합니다. 블롭 저장소 감사 로그에 대해서는 각 클라우드 제공업체의 문서를 참고하세요. Admin 및 보안 팀은 감사 로그를 사용하여 각 사용자가 W&B에서 수행하는 작업을 추적하고, 특정 사용자의 일부 오퍼레이션을 제한해야 할 때 필요한 액션을 취할 수 있습니다.W&B에서 지원하는 블롭 저장소 액세스 방식은 사전 서명된 URL뿐입니다. W&B는 조직의 요구 사항에 맞게 앞서 설명한 보안 제어의 일부 또는 전부를 구성할 것을 권장합니다.
사전 서명된 URL을 요청한 사용자 확인하기
감사 로그를 검토할 때 사전 서명된 URL 활동을 특정 W&B 사용자와 연관 지으려면, W&B가 각 URL에 추가하는 공급자별 쿼리 매개변수를 확인하세요.Azure Blob Storage 활동을 사용자와 연관 짓기
Azure에서는scid가 GUID여야 하므로, W&B는 사용자 이름을 직접 포함하지 않고 사용자 이름으로부터 고정된 UUID를 생성합니다. 이 UUID에는 사용자 이름이 포함되지 않으며 디코딩할 수도 없습니다. Azure 저장소 활동을 사용자와 연관 지으려면 W&B 사용자 이름과 이에 대응하는 scid 값 간의 매핑을 계산하거나 별도로 관리하세요.
Azure는 사용자 위임 SAS URL에만 scid를 포함합니다. W&B는 저장소 버킷이 관리 ID로 설정된 경우에 이 URL을 생성합니다. 공유 키 SAS URL에는 scid가 포함되지 않습니다.
W&B는 기본적으로 사전 서명된 URL에 귀속 매개변수를 추가합니다. 모든 저장소 공급자에서 귀속 기능을 끄려면
GORILLA_BUCKET_ATTRIBUTION_DISABLED 환경 변수를 true로 설정하세요. 귀속 기능을 끄면 W&B가 scid와 X-User를 생략하므로, 사전 서명된 URL 활동을 개별 사용자와 연관 지을 수 없습니다.