시간 경과별 사용량 보기
This feature isn’t enabled for every organization yet. If you don’t see it, contact Support or your AISE.
- Multi-tenant Cloud
- Dedicated Cloud 및 Self-Managed
- 오른쪽 상단 모서리에서 사용자 프로필 아이콘을 클릭하세요.
- 계정 섹션에서 결제를 클릭하세요.
- 사용량 및 알림 탭을 클릭하세요.
- 사이드바에서 샌드박스를 선택하면 해당 시간 경과별 사용량 차트가 표시됩니다.
샌드박스 메트릭을 Weights & Biases run에 로깅하기
Session은 생성된 샌드박스 수, 실행 횟수, 성공률, 시작 시간 등 클라이언트 측 샌드박스 메트릭을 실행 중인 Weights & Biases run에 로깅할 수 있습니다. 이 메트릭은 코드가 샌드박스를 어떻게 사용하는지 보여 주며, CPU나 메모리 사용량은 보고하지 않습니다. 메트릭을 활성화하는 방법과 전체 목록은 RL 트레이닝의 Weights & Biases 메트릭 인테그레이션 섹션을 참조하세요.
CoreWeave 조직 메트릭 모니터링
CoreWeave Sandboxes는 조직별 메트릭을 게시하여 모든 활성 샌드박스를 설명합니다: 실행 중인 샌드박스 수, 요청한 리소스, 소비하는 CPU와 메모리 양입니다. 이러한 메트릭을 사용하여 플릿 활동을 추적하고, 사용을 속성하며, 자신만의 대시보드와 알림을 구축하세요.사전 요구 사항
메트릭은 CoreWeave가 호스팅하는 Grafana 인스턴스의 Explore 섹션에서 사용 가능합니다. Grafana에 액세스하려면 CoreWeave Cloud Console에 로그인한 상태여야 하며admin, metrics 또는 write 그룹의 멤버여야 합니다.
메트릭 API를 통해 observe.coreweave.com에서 API 액세스 토큰을 사용하여 동일한 메트릭을 프로그래밍 방식으로 쿼리할 수도 있습니다.
쿼리는 자동으로 조직 범위로 제한됩니다.
cluster 또는 cluster_org에 대한 셀렉터는 조직으로 다시 작성되므로 다른 조직을 참조하는 쿼리는 빈 결과 대신 자신의 데이터를 반환합니다.공통 레이블
모든cwsandbox_* 메트릭에는 다음 레이블이 포함됩니다:
샌드박스가 CoreWeave에서 관리하는 공유 용량에서 실행되든, 관리형 러너를 사용하는 자체 CoreWeave Kubernetes Service (CKS) 클러스터에서 실행되든 레이블 규약은 동일합니다. 배치별 사용량을 확인하려면
cwsandbox_sandbox_info의 runner_id 레이블로 그룹화하세요.
라이프사이클 메트릭
이 메트릭은 샌드박스 컨트롤 플레인에서 제공되며 약 30초마다 업데이트됩니다. 샌드박스가 활성 상태인 동안 샌드박스별 시계열이 존재하며, 중지된 후 얼마 지나지 않아 사라집니다.메트릭 cwsandbox_sandboxes
각 라이프사이클 상태의 활성 샌드박스 수입니다. 단위는 샌드박스입니다.
필터링과 그룹화에 다음 레이블을 사용할 수 있습니다:
메트릭 cwsandbox_sandbox_info
각 활성 샌드박스의 ID를 담는 상수 1 시계열입니다. 이를 사용하여 ID 레이블을 사용량 측정항목에 조인하세요.
다음 레이블을 필터링과 그룹화에 사용할 수 있습니다:
메트릭 cwsandbox_sandbox_age_seconds
각 활성 샌드박스의 생성 이후 경과 시간입니다. 단위는 초입니다. sandbox_id로 레이블링됩니다.
메트릭 cwsandbox_sandbox_requested_cpu_millicores
각 샌드박스가 승인 시 요청한 CPU로, 측정된 사용량이 아닙니다. 단위는 밀리코어입니다. sandbox_id 레이블이 지정됩니다.
메트릭 cwsandbox_sandbox_requested_memory_bytes
각 샌드박스가 승인 시 요청한 메모리이며, 측정된 사용량이 아닙니다. 단위는 바이트입니다. sandbox_id로 레이블이 지정됩니다.
메트릭 cwsandbox_sandbox_requested_gpus
각 샌드박스가 승인 시 요청한 GPU 수입니다. 단위는 GPU입니다. sandbox_id 및 gpu_type으로 레이블링됩니다.
사용량 측정항목
이 메트릭은 각 샌드박스가 실행되는 노드에서 측정되며 약 30초마다 업데이트됩니다.메트릭 cwsandbox_sandbox_cpu_usage_seconds_total
각 샌드박스가 소비한 CPU 시간의 카운터입니다. 단위는 CPU 초입니다. sandbox_id로 레이블링됩니다. rate() 또는 increase()를 사용하여 윈도우에 걸친 소비량을 계산하세요.
메트릭 cwsandbox_sandbox_memory_working_set_bytes
각 샌드박스의 현재 작업 집합 메모리입니다. 단위는 바이트입니다. sandbox_id로 레이블이 지정됩니다.
사용 값은 샌드박스 워크로드 컨테이너를 반영합니다. microVM 격리 환경에서 실행되는 샌드박스의 경우, 값은 게스트 내부에서 수집되며 가상화 오버헤드와 플랫폼 사이드카 프로세스는 제외됩니다. 워크로드 컨테이너가 다시 시작되면 CPU 카운터가 재설정되며,
rate()와 increase()가 이를 자동으로 처리합니다. 시계열에 짧은 공백이 있으면 collection이 잠시 중단되었음을 의미합니다. stale 값은 보고되지 않습니다.PromQL 예시
시간 경과에 따른 실행 중인 샌드박스
샌드박스별 사용 중인 CPU 코어 수
프로필 및 러너 정보가 추가된 CPU 사용량
사용량 카운터를sandbox_id 기준으로 cwsandbox_sandbox_info와 조인하여 ID 레이블을 추가하세요: