complétion de chat - CoreWeave Docs

Le proxy accepte un corps de requête JSON au format complétion de chat. Les champs model et messages sont requis ; les autres champs sont transmis s’ils sont pris en charge par le fournisseur sélectionné.

curl https://proxy.training.wandb.ai/v1/chat/completions \
  -H "Authorization: Bearer $WANDB_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ticket-classifier",
    "messages": [{"role": "user", "content": "Classify this request"}],
    "temperature": 0,
    "metadata": {"wandb.entity": "your-team"}
  }'

Streaming

Définissez stream: true comme d’habitude. Les server-sent events du fournisseur sont transmis au fur et à mesure de leur arrivée, y compris [DONE]. Pour les flux tracés, le proxy peut demander en interne les données d’utilisation du flux afin que le nombre de jetons soit disponible ; cela ne modifie pas le contenu des messages visible par le client. Les requêtes en streaming ne peuvent pas utiliser la mise en cache des réponses.

Outils et sortie structurée

Les définitions d’outils, les choix d’outils, les schémas JSON de format de réponse, les paramètres de modèle de chat, les probabilités logarithmiques, le contenu multimodal, les extensions propres aux fournisseurs et les champs de raisonnement sont conservés dans le contrat de trace brut. Les champs de requête inconnus sont transmis tels quels, sauf si l’acheminement les remplace ou les supprime.

Ordre de priorité

Pour une route de projet, la requête effective envoyée au fournisseur est construite dans l’ordre suivant. Lorsque la requête active la mise en cache des réponses, le proxy consulte le cache après l’étape 2 et, si la réponse s’y trouve, ignore les étapes restantes.

partir du corps de la requête du client ;
remplacer le nom de modèle du proxy par le modèle du fournisseur sélectionné ;
fusionner les valeurs params_override de la cible, qui l’emportent en cas de conflit ;
supprimer les métadonnées d’acheminement wandb.* avant l’envoi au fournisseur ;
ajouter, si nécessaire, les options de streaming nécessaires à la prise en charge des traces.

Le proxy ne transmet aucun en-tête du client, à l’exception de ceux qu’il construit lui-même. Les cookies, les clés API des fournisseurs, les en-têtes d’organisation et les en-têtes d’autorisation sans rapport ne peuvent donc pas fuiter vers le fournisseur sélectionné.

Requêtes Vapi

Le proxy reconnaît l’enveloppe de requête de Vapi, supprime les champs propres à Vapi avant de transmettre la requête et utilise call.id comme identifiant de conversation par défaut. Un wandb.thread_id explicite reste prioritaire.

​Streaming

​Outils et sortie structurée

​Ordre de priorité

​Requêtes Vapi

Streaming

Outils et sortie structurée

Ordre de priorité

Requêtes Vapi