Déployer des modèles dans un sandbox

Déployez un modèle depuis le registre vers un environnement sandbox CoreWeave isolé pour le tester et l’améliorer par itérations. Envoyez des requêtes d’inférence au point de terminaison du déploiement à l’aide d’outils comme curl ou un client HTTP Python.

Le déploiement de modèles depuis le registre vers des sandboxes est en préversion privée et nécessite actuellement des sandboxes équipés de GPU. Pour en demander l’accès, contactez votre équipe de compte ou écrivez à support@coreweave.com.

Les CoreWeave Sandboxes ont une durée de vie limitée et s’arrêtent à leur expiration. Lorsqu’un sandbox expire, CoreWeave libère ses ressources de calcul et son point de terminaison n’est plus disponible. Pour créer un autre sandbox, clonez le déploiement. Le clonage crée un nouveau sandbox doté d’une nouvelle URL de point de terminaison. Les déploiements sont limités à votre organisation et associés à l’équipe que vous sélectionnez. Pour créer, cloner, arrêter ou gérer de toute autre manière des déploiements, vous devez disposer d’un rôle du registre avec accès en écriture dans l’organisation. Votre organisation doit également avoir accès aux sandboxes et aux sandboxes GPU, et disposer d’un quota de sandboxes suffisant ainsi que d’une capacité de calcul adéquate pour les sandboxes.

Déployer un modèle

Suivez les étapes ci-dessous pour déployer un modèle dans un sandbox :

Accédez à Registry.
Sélectionnez un registre.
Sélectionnez une collection.
Sélectionnez une version de modèle.
Sélectionnez le menu d’actions (), puis sélectionnez Deploy.
Dans la liste déroulante Version, sélectionnez la version du modèle à déployer.
Dans le champ de nom Deployment, saisissez un nom pour le déploiement.
Sélectionnez Next.
Sélectionnez l’équipe à associer au déploiement.
Sélectionnez une ressource de calcul.
Dans la liste déroulante Lifetime, sélectionnez la durée d’exécution maximale du sandbox.
Configurez le Serving engine. Le moteur par défaut, et actuellement le seul pris en charge, est vLLM.
Sélectionnez Next.
Vérifiez les détails du déploiement, puis sélectionnez Deploy.

Ressources de calcul

La ressource de calcul détermine les ressources CPU, mémoire et GPU allouées à la sandbox.

Type	Description
CPU (vCPU)	Nombre de CPU virtuels alloués à la sandbox.
Mémoire (Gio)	Quantité de mémoire système allouée à la sandbox.
GPU	Nombre de GPU alloués à la sandbox.

Les sandboxes GPU doivent être activées pour votre organisation. Tant que les GPU ne sont pas activés, toute requête incluant un GPU échoue avec l’erreur CWSANDBOX_GPU_NOT_ALLOWED et le message this organization is not entitled to create GPU sandboxes.

États des sandboxes

Une sandbox peut se trouver dans l’un des états suivants :

État	Description
Starting	CoreWeave crée la sandbox et déploie le modèle.
Running	La sandbox est en cours d’exécution et prête à l’emploi.
Stopping	CoreWeave est en train d’arrêter la sandbox.
Stopped	Un utilisateur a arrêté la sandbox. Son point de terminaison n’est plus disponible.
Expired	La sandbox a atteint sa date d’expiration. Son point de terminaison n’est plus disponible.
Failed	Une erreur a empêché le démarrage du déploiement.

Afficher un déploiement

Affichez le statut, l’heure d’expiration, la configuration et d’autres informations sur un sandbox déployé.

Accédez à Registry.
Sélectionnez un registre.
Sélectionnez une collection.
Sélectionnez une version de modèle.
Sélectionnez l’onglet Deployments.
Ouvrez les détails du déploiement de l’une des manières suivantes :
- Sélectionnez le nom du sandbox déployé.
- Sélectionnez le menu d’actions () et choisissez View deployment details.

Aperçu du déploiement

L’aperçu du déploiement comprend les informations suivantes :

Status : l’état actuel de la sandbox.
Created by : l’utilisateur qui a créé le déploiement.
Created at : date et heure de création du déploiement.

Configuration du sandbox

La configuration du sandbox comprend les informations suivantes :

Instance name : le nom de l’instance du sandbox.
Serving engine : le moteur qui sert le modèle.
Team : l’équipe qui a créé le sandbox.
Compute resources : les ressources CPU, mémoire et GPU allouées au sandbox.
Expires in : le temps restant avant l’expiration du sandbox.
Endpoint address : l’adresse à laquelle envoyer des requêtes au sandbox déployé.
curl example : un exemple de requête curl adressée au point de terminaison du déploiement.

Accéder à un modèle déployé

Envoyez des requêtes à un modèle déployé à l’aide de l’adresse du point de terminaison indiquée dans la configuration de la sandbox. Le point de terminaison reste disponible jusqu’à l’expiration de la sandbox ou jusqu’à ce que vous arrêtiez le déploiement.

Les points de terminaison de sandbox sont accessibles publiquement et ne prennent pas en charge l’authentification par clé API Forge. Toute personne disposant de l’URL du point de terminaison peut envoyer des requêtes au modèle déployé. N’utilisez pas de point de terminaison de sandbox pour des modèles ou des données soumis à des contrôles d’accès.

Trouver l’adresse du point de terminaison

L’adresse du point de terminaison de votre sandbox déployée se trouve dans la section de configuration de la sandbox, sur la page d’aperçu du déploiement.

Ouvrez les détails du déploiement.
Dans Sandbox configuration, repérez Endpoint address.

Tester le déploiement

Envoyez une requête de complétion de chat pour vérifier que le déploiement peut traiter des requêtes d’inférence.

Python
curl

Copiez-collez le code Python suivant pour tester votre sandbox déployé. Définissez base_url sur l’adresse du point de terminaison de votre déploiement et, si ce n’est pas déjà fait, installez httpx en exécutant pip install httpx.

import httpx

base_url = "sandbox-url"

response = httpx.post(
    f"{base_url}/v1/chat/completions",
    headers={
        "Content-Type": "application/json",
    },
    json={
        "model": "local",
        "messages": [
            {
                "role": "user",
                "content": "Reply with OK."
            },
        ],
        "temperature": 0,
        "max_tokens": 5,
    },
    timeout=60,
)

response.raise_for_status()
print(response.json()["choices"][0]["message"]["content"])

Copiez-collez la commande curl suivante pour envoyer une requête de test à votre sandbox déployé. Remplacez sandbox-url par l’adresse du point de terminaison de votre déploiement :

curl --fail-with-body \
  "sandbox-url/v1/chat/completions" \
  --header "Content-Type: application/json" \
  --data '{
    "model": "local",
    "messages": [
      {
        "role": "user",
        "content": "Reply with OK."
      }
    ],
    "temperature": 0,
    "max_tokens": 5
  }'

Cloner un déploiement

Clonez un déploiement pour créer un nouveau sandbox doté de sa propre URL de point de terminaison générée. Par défaut, le déploiement cloné reprend le nom du déploiement d’origine, suivi du suffixe -clone. Vous pouvez modifier ce nom avant de confirmer le déploiement. Chaque nom de déploiement doit être unique parmi les déploiements en cours de démarrage ou d’exécution. Vous pouvez réutiliser un nom une fois que le déploiement existant est arrêté ou a expiré. Pour cloner un déploiement, suivez ces étapes :

Accédez au registre.
Sélectionnez un registre.
Sélectionnez une collection.
Sélectionnez une version de modèle.
Sélectionnez l’onglet Deployments.
Ouvrez le menu action (), puis sélectionnez Clone deployment.
Vérifiez ou modifiez les paramètres du déploiement, puis confirmez le déploiement.

Arrêter un déploiement

Arrêtez un déploiement en cours d’exécution. Un déploiement arrêté ne peut pas être redémarré, et son point de terminaison n’est plus disponible. Pour servir de nouveau le modèle, créez un nouveau déploiement. Pour arrêter un déploiement sandbox en cours d’exécution, suivez ces étapes :

Accédez à Registry.
Sélectionnez un registre.
Sélectionnez une collection.
Sélectionnez une version du modèle.
Sélectionnez l’onglet Deployments.
Sélectionnez un déploiement.
Sélectionnez le menu d’actions (), puis sélectionnez Stop deployment.

Facturation et utilisation

Le déploiement d’un modèle dans une sandbox consomme de la capacité de calcul sandbox CoreWeave. Les flux de travail de modèles peuvent également entraîner une utilisation propre à chaque produit lorsqu’ils font appel à d’autres services W&B, comme Weave, Inference ou Training. Les administrateurs d’organisation et les administrateurs de la facturation peuvent consulter les détails du forfait, surveiller l’utilisation, configurer des alertes d’utilisation et de dépenses, gérer les modes de paiement et accéder aux factures depuis les paramètres de facturation. Si la capacité de calcul sandbox de votre compte est insuffisante, vous devrez peut-être acheter une utilisation supplémentaire, passer à un forfait supérieur ou contacter l’assistance CoreWeave à l’adresse support@coreweave.com.

​Déployer un modèle

​Ressources de calcul

​États des sandboxes

​Afficher un déploiement

​Aperçu du déploiement

​Configuration du sandbox

​Accéder à un modèle déployé

​Trouver l’adresse du point de terminaison

​Tester le déploiement

​Cloner un déploiement

​Arrêter un déploiement

​Facturation et utilisation

Déployer un modèle

Ressources de calcul

États des sandboxes

Afficher un déploiement

Aperçu du déploiement

Configuration du sandbox

Accéder à un modèle déployé

Trouver l’adresse du point de terminaison

Tester le déploiement

Cloner un déploiement

Arrêter un déploiement

Facturation et utilisation