Acheminement des modèles - CoreWeave Docs

La première barre oblique dans model permet de distinguer une référence directe à un fournisseur d’un nom de modèle proxy.

Noms de modèles proxy

{"model": "ticket-classifier"}

Le proxy lit la configuration d’acheminement de la version 1, choisit parmi les cibles dont le poids est positif, remplace model et appelle le fournisseur de la cible.

Versions épinglées

{"model": "ticket-classifier@v3"}

Un épinglage cible exactement la version 3. Il ne passe jamais automatiquement à la version la plus récente et ne modifie jamais la version 1. Vous pouvez ainsi tester une nouvelle version en toute sécurité avant de la déployer dans l’application.

Appels directs aux fournisseurs

{"model": "openai/gpt-5.6-sol?reasoning_effort=medium"}

Le préfixe situé avant la première barre oblique sélectionne un fournisseur dans l’entity W&B résolu. Le reste correspond à l’ID du modèle tel que configuré pour ce fournisseur ; les barres obliques supplémentaires sont autorisées. Les appels directs sont utiles pour le réétiquetage, les juges, les comparaisons ponctuelles et la validation de la configuration d’un fournisseur. Ils contournent l’acheminement par projet, ne sont rattachés à aucun projet et ne sont pas tracés, sauf si la requête définit wandb.project. Voir Métadonnées et traces.

Résolution de l’entity

L’entity par défaut de la clé bearer est utilisé, sauf si le corps de la requête contient :

{
  "metadata": {
    "wandb.entity": "your-team"
  }
}

La valeur demandée doit correspondre à l’entity personnelle ou par défaut de l’appelant, ou à l’une de ses équipes W&B.

Sélection pondérée persistante

Fournissez un ID de conversation afin que tous les appels d’une même conversation restent dirigés vers la même cible pour une révision d’acheminement donnée :

{
  "metadata": {
    "wandb.thread_id": "conversation-4827"
  }
}

Modifier la révision d’acheminement peut, à dessein, déplacer cette clé vers une autre cible.

API : appeler une version épinglée d’un projet (POST /chat/completions)

Utilisez alias@vN dans model. Pour un appel direct à un fournisseur, utilisez plutôt provider/model-id.

curl --request POST \
  --url "https://proxy.training.wandb.ai/v1/chat/completions" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Content-Type: application/json" \
  --data '{
    "model": "ticket-classifier@v2",
    "messages": [{"role": "user", "content": "Classify this request"}],
    "metadata": {"wandb.entity": "your-team"}
  }'

Pour le schéma complet, voir Créer une complétion de chat acheminée.

​Noms de modèles proxy

​Versions épinglées

​Appels directs aux fournisseurs

​Résolution de l’entity

​Sélection pondérée persistante

Noms de modèles proxy

Versions épinglées

Appels directs aux fournisseurs

Résolution de l’entity

Sélection pondérée persistante