동시 샌드박스 할당량
동시 샌드박스 할당량은 조직에서 실행 중인 서버리스 샌드박스의 수를 제한하며, 이 할당량은 모든 사용자와 API 키가 공유합니다. 실행 중인 사용량에는 코드를 실행 중인 샌드박스뿐만 아니라 시작 중이거나 종료 중인 샌드박스도 포함됩니다. 동시 할당량 적용이 활성화되어 있으면 다음 기본값이 적용됩니다. 조직의 할당량 및 적용 상태를 확인하려면 지원팀 또는 계정 담당 팀에 문의하세요.
샌드박스를 소유하는 계정은 샌드박스 사용자 인증 정보에 따라 결정됩니다. 사용자 인증 정보 선택 및 조회를 참조하세요. 이 할당량은 샌드박스 액세스 권한이 있는 계정에 적용됩니다. 할당량 증가가 승인되면 조직의 제한이 상향될 수 있습니다. Forge 계정 유형을 확인할 수 없거나 인식되지 않는 경우에는 표의 대체 값보다 이전에 인식된 등급이 우선 적용됩니다.
할당량 검사는 v1 API를 통한 새 서버리스 생성 요청에 적용됩니다. 사용 중단된 v1beta2 API의 사용량도 집계되지만, v1beta2 생성 요청에는 이 검사가 적용되지 않습니다. 할당량 처리를 통합할 때는 현재 버전인 v1 API를 사용하세요.
할당량 집계는 비동기적으로 업데이트됩니다. 따라서 사용량이 일시적으로 할당량을 초과할 수 있으며, 최근에 종료된 샌드박스가 집계에서 제외되기까지 시간이 걸릴 수 있습니다. 동시 할당량은 엄격한 비용 한도가 아니며, 가용 용량을 보장하지도 않습니다.
할당량에 포함되는 사용량
할당량에는 다음 사용량이 포함됩니다.- 준비 중, 배치 대기 중, 시작 중, 실행 중 또는 종료 중인 샌드박스
- 배치가 시작된 후 timeout이 발생한 경우처럼 결과가 불확실한 생성 요청에 대한 예약
할당량 오류 처리
할당량 적용이 활성화되어 있으면 할당량 검사를 통해 조직이 한도에 도달했는지 확인합니다. 한도에 도달한 경우 플랫폼은 새 v1 서버리스 생성 요청을 거부하고 다음과 같은 오류 세부 정보를 반환합니다.
플랫폼은 다음 오류 메시지를 반환합니다.
concurrent sandbox quota exceeded; request an increase from support@wandb.ai or your account team메시지 텍스트를 비교하는 대신 구조화된 오류 사유를 기준으로 처리하세요. 할당량에 여유 용량이 생길 때까지 기다린 다음, 재시도 힌트를 준수하면서 백오프를 적용해 재시도하세요. 5초 힌트가 5초 후에 슬롯을 사용할 수 있다는 것을 보장하지는 않습니다. 동시 할당량이 적용되더라도 이미 실행 중인 샌드박스는 중지되지 않으며, 등급 변경으로 할당량이 줄어든 경우에도 마찬가지입니다. 샌드박스 수명을 비롯한 다른 제어는 계속 적용됩니다.
할당량 증가 요청
동시 할당량을 늘리려면 계정 유형에 따라 담당 팀에 문의하세요.- CoreWeave 고객: 계정 담당 팀에 문의하세요.
- Forge 고객: forge-support@coreweave.com으로 이메일을 보내거나 계정 담당 팀에 문의하세요.
요청 속도 제한
v1 서버리스 API는 조직이 생성 요청을 보내는 속도와 동시에 진행 중인 생성 요청 수도 제한합니다. 이 제한은 실행 중인 샌드박스 수 제한과는 별개입니다. 제한에 걸린 생성 요청은 HTTP429와 함께 오류 사유 CWSANDBOX_SERVERLESS_CREATE_THROTTLED를 반환합니다. limit_kind 메타데이터로 어떤 제한에 해당하는지 확인할 수 있습니다.
백오프를 적용해 재시도하고, 응답에 재시도 힌트가 포함되어 있으면 이를 따르세요. 동시 샌드박스 할당량이 늘어나더라도 생성 요청에 대한 요청 속도 제한이 함께 늘어나지는 않습니다.
샌드박스 수명
샌드박스의 실행 시간을 제한하려면 샌드박스를 생성할 때max_lifetime_seconds 매개변수를 설정하세요. 수명 제한은 서버리스 배치와 CKS 배치 모두에 적용됩니다.
수명을 지정하지 않으면 적용되는 정책에서 기본값을 제공할 수 있습니다. 정책에 기본값이 설정되어 있지 않으면 플랫폼은 10분을 사용합니다.
최대 수명을 초과하는 생성 요청은 플랫폼에서 거부됩니다. 수명이 만료되면 플랫폼이 샌드박스를 중지합니다. 실행할 작업에 충분한 수명을 선택하고, 작업이 끝나면 샌드박스를 중지하세요.