Les poids sont relatifs
La somme des poids n’a pas besoin d’être égale à 100. Une configuration avec les poids3 et 1 répartit le trafic à environ 75 % et 25 %. Une cible de poids nul reste disponible dans la configuration, mais ne reçoit plus aucun nouveau trafic pondéré.
Après une promotion complète, utilisez un poids nul pour conserver le modèle précédent afin de garder de la visibilité et de pouvoir revenir en arrière.
Acheminement persistant
Lorsqu’une requête fournitwandb.thread_id ou gen_ai.conversation.id, le proxy maintient de manière déterministe cette conversation sur une même cible pendant toute la révision d’acheminement. En l’absence d’identifiant de conversation, la cible de chaque requête est sélectionnée indépendamment.
Paramètres cibles
Pour ajouter des valeurs telles que la température, l’effort de raisonnement, le format de réponse ou des réglages propres au fournisseur, développez Paramètres sous un modèle. Les nombres, les booléens, les tableaux et les objets sont interprétés comme du JSON. Tout autre texte est conservé sous forme de chaîne de caractères. La valeur de remplacement enregistrée prévaut sur le même champ fourni par l’appelant.Enregistrer dans une version existante ou nouvelle
Ouvrez la page Acheminement du projet. Ajoutez ou modifiez des cibles, choisissez la destination dans la barre de version, puis sélectionnez Save routing. La barre de version fait partie de la même action d’enregistrement :- Choisissez une version existante pour remplacer l’acheminement souhaité de celle-ci.
- Choisissez l’option de nouvelle version pour en créer une. La version n’est créée qu’au moment où vous sélectionnez Save routing. Appelez la nouvelle version avec
name@vN.
API : remplacer l’acheminement d’une version de projet (PUT /tasks/{alias}/versions/{version}/routing)
API : remplacer l’acheminement d’une version de projet (PUT /tasks/{alias}/versions/{version}/routing)
Les mises à jour de l’acheminement remplacent l’intégralité de la configuration : la requête doit donc inclure Interrogez l’état d’acheminement renvoyé jusqu’à ce que le déploiement soit
trace_sampling_rate ainsi que toutes les cibles. Pour conserver le taux d’échantillonnage existant, transmettez-le dans la requête. Si vous souhaitez que le modèle précédent reste disponible en cas de retour arrière, conservez-le avec un poids de 0 :applied pour la révision actuelle. Voir Remplacer l’acheminement d’une version de tâche.