Skip to main content
L’acheminement détermine quel modèle sert une version de projet. Chaque cible comprend une référence de modèle, un poids positif ou nul et, de manière facultative, des paramètres redéfinis.

​
Les poids sont relatifs

La somme des poids n’a pas besoin d’être égale à 100. Une configuration avec les poids 3 et 1 répartit le trafic à environ 75 % et 25 %. Une cible de poids nul reste disponible dans la configuration, mais ne reçoit plus aucun nouveau trafic pondéré. Après une promotion complète, utilisez un poids nul pour conserver le modèle précédent afin de garder de la visibilité et de pouvoir revenir en arrière.

​
Acheminement persistant

Lorsqu’une requête fournit gen_ai.conversation.id dans metadata, le proxy maintient de manière déterministe cette conversation sur une même cible pendant toute la révision d’acheminement. En l’absence d’identifiant de conversation, le proxy sélectionne une cible indépendamment pour chaque requête.

​
Paramètres cibles

Pour ajouter des valeurs telles que la température, l’effort de raisonnement, le format de réponse ou des réglages propres au fournisseur, développez Paramètres sous un modèle. Les nombres, les booléens, les tableaux et les objets sont interprétés comme du JSON. Tout autre texte est conservé sous forme de chaîne de caractères. La valeur de remplacement enregistrée prévaut sur le même champ fourni par l’appelant. Un remplacement de modèle, qui envoie une valeur provider/model dans model au lieu de "router", contourne les cibles. Il utilise les paramètres de l’appelant et les valeurs par défaut du fournisseur, et non les paramètres des cibles. Le proxy le trace, l’échantillonne et le met en cache dans la version sélectionnée, au même titre que le trafic acheminé.

​
Enregistrer dans une version existante ou nouvelle

Ouvrez la page Acheminement du projet. Ajoutez ou modifiez des cibles, choisissez la destination dans la barre de version, puis sélectionnez Save routing. La barre de version fait partie de la même action d’enregistrement :
  • Choisissez une version existante pour remplacer l’acheminement souhaité de celle-ci.
  • Choisissez l’option de nouvelle version pour en créer une. La version n’est créée qu’au moment où vous sélectionnez Save routing. Pour appeler la nouvelle version, attribuez à forge.project_version, dans les metadata de la requête, le numéro de cette version, par exemple "2". Les requêtes sans forge.project_version utilisent la version 1.
Chaque enregistrement publie une nouvelle révision d’acheminement, c’est-à-dire une configuration numérotée de cette version qui comprend ses cibles, ses poids, ses remplacements de paramètres et son taux d’échantillonnage des traces. La publication étant asynchrone, une configuration enregistrée ne sert le trafic qu’une fois que son statut de déploiement est passé à Applied pour cette révision.
Si vous supprimez une version, les appelants épinglés à celle-ci reçoivent des réponses 404. Il est impossible de supprimer la version 1.
Les mises à jour de l’acheminement remplacent l’intégralité de la configuration : la requête doit donc inclure trace_sampling_rate ainsi que toutes les cibles. Pour conserver le taux d’échantillonnage existant, transmettez-le dans la requête. Si vous souhaitez que le modèle précédent reste disponible en cas de retour arrière, conservez-le avec un poids de 0 :
Interrogez l’état d’acheminement renvoyé jusqu’à ce que le déploiement soit applied pour la révision actuelle. Voir Remplacer l’acheminement d’une version de projet.
Dernière modification le 27 octobre 2026