Le proxy accepte un corps de requête JSON au format complétion de chat. Le champ messages est requis. Avec l’en-tête OpenAI-Project, model doit valoir router, être vide ou omis pour l’acheminement pondéré, ou valoir provider/model-id pour un remplacement de modèle. Le proxy transmet les autres champs lorsque le fournisseur sélectionné les prend en charge.
Streaming
Définissez stream: true comme d’habitude. Les server-sent events du fournisseur sont transmis au fur et à mesure de leur arrivée, y compris [DONE]. Pour les flux tracés, le proxy peut demander en interne les données d’utilisation du flux afin que le nombre de jetons soit disponible ; cela ne modifie pas le contenu des messages visible par le client.
Les requêtes en streaming ne peuvent pas utiliser la mise en cache des réponses.
Les définitions d’outils, les choix d’outils, les schémas JSON de format de réponse, les paramètres de modèle de chat, les probabilités logarithmiques, le contenu multimodal, les extensions propres aux fournisseurs et les champs de raisonnement sont conservés dans le contrat de trace brut. Les champs de requête inconnus sont transmis tels quels, sauf si l’acheminement les remplace ou les supprime.
Ordre de priorité
Pour une route de projet pondérée, le proxy construit la requête effective destinée au fournisseur dans l’ordre suivant. Lorsque la requête active la mise en cache des réponses, le proxy consulte le cache après avoir résolu la version du projet et avant de sélectionner une cible. En cas de succès de cache, il ignore ces étapes.
- Partir du corps de la requête du client.
- Remplacer
model par le modèle du fournisseur de la cible sélectionnée.
- Fusionner les valeurs
params_override de la cible, qui prévalent en cas de conflit.
- Supprimer les métadonnées
forge.* et wandb.* avant l’envoi au fournisseur.
- Ajouter, si nécessaire, les options de flux permettant la prise en charge des traces.
Un remplacement de modèle contourne la sélection de la cible et les paramètres de la cible. Le proxy remplace model par l’ID du modèle du fournisseur demandé, et conserve les paramètres de l’appelant ainsi que les valeurs d’inférence par défaut du fournisseur. Il n’applique ni les paramètres d’inférence d’un modèle affiné, comme sa température par défaut, ni les valeurs params_override des cibles. Pour utiliser cette température avec un remplacement, envoyez temperature dans la requête.
Le proxy ne transmet aucun en-tête client autre que ceux qu’il construit lui-même. Les cookies, les clés API des fournisseurs, les en-têtes d’organisation et les en-têtes d’autorisation non pertinents ne peuvent donc pas être divulgués au fournisseur sélectionné. Seule exception : le fournisseur wandb-inference, qui reçoit la valeur OpenAI-Project validée à des fins d’attribution.
Requêtes Vapi
Le proxy reconnaît l’enveloppe de requête de Vapi, supprime les champs propres à Vapi avant de transmettre la requête et utilise call.id comme identifiant de conversation par défaut. Un gen_ai.conversation.id explicite est prioritaire. Dernière modification le 27 octobre 2026
