Aperçu du proxy d’inférence

Le proxy d’inférence est le seul composant situé sur le chemin en ligne de votre application. Il expose :

POST https://proxy.training.coreweave.com/v1/chat/completions
Authorization: Bearer <wandb-api-key>
OpenAI-Project: [ENTITY]/[PROJECT]

Le jeton Bearer correspond à votre clé API Forge. OpenAI-Project sélectionne le projet Model Distillation à partir de son entity et du nom du projet Weights & Biases. Votre client OpenAI existant fonctionne toujours : les SDK d’OpenAI envoient cet en-tête à partir de leur option project ou de la variable d’environnement OPENAI_PROJECT_ID. La valeur model détermine si la requête passe par l’acheminement pondéré du projet ou remplace le modèle.

Ce qu’apporte le proxy

Acheminement par projet

Résoudre une version de projet, choisir une cible pondérée, appliquer ses paramètres et maintenir l’affinité des conversations.

Isolation des identifiants d’authentification

Remplacer la clé API par l’identifiant d’authentification du fournisseur sélectionné, sans transmettre les en-têtes du client.

Traces exploitables pour l’entraînement

Enregistrer l’intégralité de la requête envoyée et de la réponse, avec l’identité du projet et du fournisseur.

Transport compatible avec OpenAI

Préserver le comportement des réponses de complétion de chat, avec ou sans streaming.

Routes prises en charge

Avec l’en-tête OpenAI-Project, model prend l’une des valeurs suivantes :

Valeur `model`	Résultat
`router`, vide ou omis	Acheminement pondéré pour la version de projet sélectionnée
`provider/model-id`	Remplacement de modèle via un fournisseur enregistré, au sein du projet

metadata["forge.project_version"] sélectionne la version du projet, par exemple "2". Si ce champ est omis, la version 1 est sélectionnée. Les requêtes acheminées comme les remplacements de modèle relèvent du trafic de projet. Le proxy les trace, les échantillonne et les met en cache dans la version sélectionnée. Les requêtes de projet sans streaming peuvent également activer la mise en cache des réponses exactes à l’aide de l’en-tête Forge-Cache-Mode, qui renvoie une réponse antérieure identique au lieu d’appeler le fournisseur.

API : Envoyer une requête acheminée par projet (POST /chat/completions)

curl --request POST \
  --url "https://proxy.training.coreweave.com/v1/chat/completions" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Content-Type: application/json" \
  --header "OpenAI-Project: your-team/ticket-classifier" \
  --data '{
    "model": "router",
    "messages": [{"role": "user", "content": "Classify this request"}],
    "metadata": {"gen_ai.conversation.id": "conversation-4827"}
  }'

Consultez Créer une complétion de chat acheminée pour obtenir le schéma complet de la requête et de la réponse.

Comportement de refus par défaut (fail closed)

Le proxy rejette les clés API, les entities, les projets, les versions et les fournisseurs inconnus avant d’appeler un point de terminaison arbitraire. Les URL et les identifiants d’authentification des fournisseurs proviennent exclusivement de la matérialisation gérée côté serveur ; les appelants ne peuvent pas les fournir via les en-têtes de requête ou les jetons.

​Ce qu’apporte le proxy