샌드박스 CPU 및 메모리 사이징

샌드박스는 실행되는 동안 요청한 CPU와 메모리를 계속 예약해 둡니다. 각 값은 샌드박스가 수행할 작업에 맞게 선택하세요. 두 값의 비율에 따라 요청을 수용할 용량이 있는 노드가 달라지며, 실제 사용량은 워크로드에 따라 달라집니다. 이 가이드에서는 비율을 선택하는 방법, 선택한 비율이 워크로드에 맞는지 측정하는 방법, 그리고 러너의 다른 사용자가 요청할 수 있는 양에 한도를 설정하는 방법을 설명합니다.

비율이 중요한 이유

서버리스 배치에서 CoreWeave는 CPU와 메모리를 각각 따로 계량하며, 실제로 사용한 용량이 아니라 예약한 용량을 기준으로 합니다. 1 CPU와 64 GiB 메모리를 요청한 샌드박스는 실제로 1 GiB를 넘게 할당하지 않더라도 실행 윈도우 전체 동안 64 GiB 전부에 대해 계량됩니다. 비율은 배치에도 영향을 줍니다. 노드는 리소스마다 고정된 양을 보유하므로, 한쪽 리소스에 치우친 요청량이 반복되면 다른 리소스는 여유가 있는데도 노드가 가득 찰 수 있습니다. 간단한 예시로, 할당 가능한 CPU가 32개, 할당 가능한 메모리가 128 GiB인 노드를 생각해 보세요. 각각 1 CPU와 64 GiB를 요청하는 샌드박스 두 개는 128 GiB를 모두 예약하지만 CPU는 32개 중 2개만 예약합니다. 이 예제는 워크로드 요청량만 고려한 것이며, 실제 배치에서는 런타임 오버헤드, 다른 워크로드, 그리고 설정된 노드 할당 예산도 함께 고려됩니다.

호스트 형태부터 확인하기

CoreWeave Kubernetes Service (CKS) 배치의 경우, 요청을 대상 노드의 할당 가능한 CPU 및 메모리, 그리고 노드 할당 예산과 비교하세요. 노드에 설치된 명목상의 RAM이 아니라 할당 가능한 리소스를 기준으로 삼으세요. 서버리스 배치에서는 CoreWeave가 용량과 정책을 관리하므로, 모든 요청이 특정 노드 SKU를 사용한다고 가정하지 마세요. cpu 요청이 1이면 vCPU 하나가 예약됩니다. 요청한 메모리(GiB)를 요청한 CPU 수로 나누면 CPU당 GiB를 구할 수 있습니다. CPU당 메모리가 대상 노드의 할당 가능 비율보다 큰 요청은 메모리가 병목이 될 수 있고, 반대로 CPU당 메모리가 더 작은 요청은 CPU가 병목이 될 수 있습니다. 가용 용량과 다른 워크로드도 배치에 영향을 줍니다. 대표 워크로드의 측정값을 바탕으로 CPU와 메모리를 선택한 다음, 각 리소스의 사용량에 따라 조정하세요. 다음 할당은 비율 계산 방법을 보여 주는 예시일 뿐이며, 특정 워크로드에 대한 권장 사항이 아닙니다.

요청	계산	비율
2 CPU, 4 GiB	4 / 2	CPU당 2 GiB
8 CPU, 16 GiB	16 / 8	CPU당 2 GiB
4 CPU, 24 GiB	24 / 4	CPU당 6 GiB

요청은 해당 배치에 적용되는 정책도 충족해야 하며, 이 정책은 호스트 형태가 허용하는 것보다 낮은 최댓값을 설정할 수 있습니다. 제한 및 할당량을 참조하세요. GPU 샌드박스에서는 CPU와 메모리 크기를 별도로 지정해야 합니다. GPU 요청은 GPU만 예약하기 때문입니다. GPU 샌드박스를 참조하세요.

요청량 및 제한 설정

기본값인 서버리스 배치에서는 CPU와 메모리의 요청량과 제한을 동일한 값으로 설정하세요. 요청한 값이 곧 예약되는 리소스이자 과금 기준이 됩니다. 두 값이 같으면 버스트할 여유가 없으므로, 워크로드의 최대 사용량에 맞춰 요청량을 산정하세요. 다음 샌드박스는 실행되는 동안 2 CPU와 4 GiB를 예약합니다.

from cwsandbox import Sandbox

sandbox = Sandbox.run(
    resources={"cpu": "2", "memory": "4Gi"},
)

제한보다 적은 양을 요청하려면, 정책상 서로 다른 값을 허용하는 러너에서 CKS 배치를 사용하세요. 자세한 내용은 Burstable QoS를 참조하세요.

샌드박스 사용량 측정하기

요청을 변경하기 전에 예약 용량과 실제 소비량을 비교하세요. 다음 쿼리를 실행하려면 Grafana 또는 메트릭 API를 통해 CoreWeave 조직 메트릭에 액세스할 수 있어야 합니다. 자세한 내용은 메트릭 사전 요구 사항을 참조하세요. Forge 사용자 인증 정보를 사용하는 경우 샌드박스 사용량 보기에서 사용 가능한 사용량 차트를 확인하세요. 다음 쿼리는 플릿 전체에서 예약된 메모리 대비 소비된 메모리의 비율을 반환합니다.

sum(cwsandbox_sandbox_memory_working_set_bytes)
/
sum(cwsandbox_sandbox_requested_memory_bytes)

다음 쿼리는 CPU에 대해 같은 비교를 수행합니다:

sum(rate(cwsandbox_sandbox_cpu_usage_seconds_total[5m]))
/
(sum(cwsandbox_sandbox_requested_cpu_millicores) / 1000)

결과가 1보다 훨씬 작으면 플릿이 측정된 사용량보다 더 많은 리소스를 예약하고 있다는 의미입니다. 플릿 전체 평균에서는 사용량이 높은 개별 샌드박스가 드러나지 않을 수 있으므로, 어느 리소스든 줄이기 전에 워크로드 수준의 최대치를 확인하세요. 측정된 사용량은 하한값으로 간주하세요. microVM 격리 환경에서는 이 값을 게스트 내부에서 수집하므로 가상화 오버헤드와 사이드카 프로세스가 포함되지 않습니다. 요청량은 측정된 수치까지 한 번에 줄이지 말고 점진적으로 줄이세요. 다음 쿼리는 요청된 CPU당 예약된 메모리의 집계값을 CPU당 GiB 단위로 반환합니다.

sum(cwsandbox_sandbox_requested_memory_bytes) / 1024^3
/
(sum(cwsandbox_sandbox_requested_cpu_millicores) / 1000)

러너의 요청량 한도 설정

러너 정책은 해당 러너의 모든 컨테이너가 요청할 수 있는 범위를 제한하며, 상한값을 통해 샌드박스 전체에 최종 할당될 수 있는 양도 제한합니다. 샌드박스가 한 가지 리소스만 따로 요청하지 못하도록 CPU와 메모리 제한을 함께 설정하세요:

{
  "constraints": {
    "resources": {
      "minCpu": "500m",
      "maxCpu": "8",
      "minMemory": "1Gi",
      "maxMemory": "32Gi",
      "cpuCeiling": "8",
      "memoryCeiling": "32Gi",
      "requireLimits": true
    }
  }
}

CKS 배치의 경우 이 정책은 조직의 관리자가 설정합니다. 서버리스 배치의 경우에는 CoreWeave가 정책을 관리합니다. 최댓값을 초과하는 요청은 CWSANDBOX_RESOURCE_CEILING_EXCEEDED 오류와 함께 실패합니다. 자세한 내용은 샌드박스 정책 설정 및 ResourceConstraints 레퍼런스를 참조하세요. 이러한 범위는 리소스별로 독립적으로 적용됩니다. 즉, 8 CPU와 32 GiB를 허용하는 정책은 1 CPU와 32 GiB 조합도 허용합니다. 러너의 샌드박스가 노드 리소스를 합산하여 점유할 수 있는 양을 제한하려면 노드 할당 예산 설정을 참조하세요.

샌드박스

샌드박스 사용하기

샌드박스 관리

레퍼런스

샌드박스 CPU 및 메모리 사이징

비율이 중요한 이유

호스트 형태부터 확인하기

요청량 및 제한 설정

샌드박스 사용량 측정하기

러너의 요청량 한도 설정

​비율이 중요한 이유

​호스트 형태부터 확인하기

​요청량 및 제한 설정

​샌드박스 사용량 측정하기

​러너의 요청량 한도 설정

비율이 중요한 이유

호스트 형태부터 확인하기

요청량 및 제한 설정

샌드박스 사용량 측정하기

러너의 요청량 한도 설정