Voir l’utilisation au fil du temps
This feature isn’t enabled for every organization yet. If you don’t see it, contact Support or your AISE.
- Cloud mutualisé
- Cloud dédié et autogéré
- Dans le coin supérieur droit, cliquez sur l’icône de votre profil utilisateur.
- Dans la section Compte, cliquez sur Facturation.
- Cliquez sur l’onglet Utilisation & alertes.
- Dans la barre latérale, sélectionnez Sandbox pour afficher le graphique Utilisation au fil du temps correspondant.
Journaliser les métriques de sandbox dans un run Weights & Biases
UneSession peut journaliser des métriques de sandbox côté client, telles que le nombre de sandboxes créés, les exécutions, les taux de réussite et les temps de démarrage, dans votre run Weights & Biases actif. Ces métriques décrivent la manière dont votre code utilise les sandboxes. Elles ne mesurent pas l’utilisation du CPU ni de la mémoire. Pour les activer et consulter la liste complète, voir la section consacrée à l’intégration des métriques Weights & Biases dans Entraînement RL.
Surveiller les métriques de l’organisation CoreWeave
CoreWeave Sandboxes publie des métriques par organisation qui décrivent chaque sandbox actif : le nombre de sandboxes en cours d’exécution, les ressources qu’ils ont demandées et la quantité de CPU et de mémoire qu’ils consomment. Utilisez ces métriques pour suivre l’activité de votre flotte, imputer l’utilisation des ressources et créer vos propres tableaux de bord et alertes.Prérequis
Les métriques sont disponibles dans la section Explore de l’instance Grafana hébergée par CoreWeave. Pour accéder à Grafana, vous devez être connecté à la Cloud Console CoreWeave et être membre de l’un des groupesadmin, metrics ou write.
Vous pouvez également interroger ces mêmes métriques par programmation via l’API de métriques, à l’adresse observe.coreweave.com, à l’aide d’un jeton d’accès API.
Les requêtes sont automatiquement limitées à votre organisation. Les sélecteurs portant sur
cluster ou cluster_org sont réécrits pour cibler votre organisation : une requête qui fait référence à une autre organisation renvoie donc vos propres données, et non un résultat vide.Libellés communs
Toutes les métriquescwsandbox_* portent les libellés suivants :
Le contrat de libellés reste le même, que vos sandboxes s’exécutent sur la capacité partagée managée par CoreWeave ou sur vos propres clusters CoreWeave Kubernetes Service (CKS) avec un exécuteur géré. Pour ventiler l’utilisation par placement, regroupez les données selon le libellé
runner_id de cwsandbox_sandbox_info.
Métriques de cycle de vie
Ces métriques proviennent du plan de contrôle des sandboxes et sont actualisées toutes les 30 secondes environ. Les séries propres à chaque sandbox existent tant que la sandbox est active et disparaissent peu après son arrêt.Métrique cwsandbox_sandboxes
Nombre de sandboxes actifs dans chaque état du cycle de vie. L’unité est le sandbox.
Les libellés suivants sont disponibles pour le filtrage et le regroupement :
Métrique cwsandbox_sandbox_info
Une série de valeur constante 1 qui porte l’identité de chaque sandbox actif. Utilisez-la pour associer les libellés d’identité aux métriques d’utilisation.
Les libellés suivants sont disponibles pour le filtrage et le regroupement :
Métrique cwsandbox_sandbox_age_seconds
Âge de chaque sandbox actif depuis sa création, exprimé en secondes. Cette métrique porte l’étiquette sandbox_id.
Métrique cwsandbox_sandbox_requested_cpu_millicores
Ressources CPU demandées par chaque sandbox lors de l’admission, et non l’utilisation mesurée. Valeurs exprimées en millicœurs. Étiquette : sandbox_id.
Métrique cwsandbox_sandbox_requested_memory_bytes
Mémoire demandée par chaque sandbox lors de l’admission, et non l’utilisation mesurée. Valeur exprimée en octets. Étiquette : sandbox_id.
Métrique cwsandbox_sandbox_requested_gpus
Nombre de GPU demandés par chaque sandbox lors de l’admission. Unité : GPU. Étiquettes : sandbox_id et gpu_type.
Métriques d’utilisation
Ces métriques sont mesurées sur le nœud qui exécute chaque sandbox et sont actualisées environ toutes les 30 secondes.Métrique cwsandbox_sandbox_cpu_usage_seconds_total
Compteur du temps CPU consommé par chaque sandbox, exprimé en secondes CPU. Ce compteur porte l’étiquette sandbox_id. Utilisez rate() ou increase() pour calculer la consommation sur une fenêtre donnée.
Métrique cwsandbox_sandbox_memory_working_set_bytes
Mémoire actuelle de l’ensemble de travail (working set) de chaque sandbox, exprimée en octets. Étiquetée par sandbox_id.
Les valeurs d’utilisation reflètent le conteneur de charge de travail de la sandbox. Pour les sandboxes exécutées avec une isolation microVM, les valeurs sont mesurées à l’intérieur de l’invité et excluent la surcharge liée à la virtualisation ainsi que les processus sidecar de la plateforme. Le compteur CPU est réinitialisé si le conteneur de charge de travail redémarre, ce que
rate() et increase() gèrent automatiquement. Une brève lacune dans une série indique que la collecte a été momentanément interrompue. Les valeurs obsolètes ne sont jamais rapportées.Exemples PromQL
Sandboxes en cours d’exécution dans le temps
Cœurs de CPU utilisés par sandbox
Utilisation du CPU enrichie du profil et de l’exécuteur
Effectuez une jointure du compteur d’utilisation aveccwsandbox_sandbox_info sur sandbox_id pour y joindre les libellés d’identité :