Créer une complétion de chat acheminée
Envoyez OpenAI-Project: entity/project pour sélectionner un projet Model Distillation et metadata["forge.project_version"] pour sélectionner une version (omettez ce champ pour v1). Omettez model, laissez-le vide ou utilisez router pour appliquer l’acheminement configuré. Définissez model sur provider/model pour remplacer le modèle tout en conservant l’attribution au projet, l’échantillonnage des traces de conversation et la mise en cache sur activation explicite. Les requêtes de remplacement utilisent le fournisseur enregistré et les paramètres de l’appelant, et non les valeurs par défaut ou de remplacement des paramètres des cibles pondérées. Les en-têtes non valides sont rejetés sans mécanisme de repli.
Autorisations
Clé API W&B dont l’entity personnelle ou par défaut, ou les équipes associées, possèdent la tâche et les fournisseurs sélectionnés.
En-têtes
entity/projet Weights & Biases auquel appartient la configuration d’acheminement. L’appelant doit avoir accès à l’entity. Les projets inconnus renvoient 404. Le projet validé est transmis à Serverless Inference à des fins d’attribution.
"my-team/my-project"
Activez la mise en cache des réponses exactes pour une requête de projet sans diffusion en continu. L’identité du cache comprend la version du projet, la révision de l’acheminement, le corps effectif de la requête en amont et les paramètres de chemin et de requête transmis. Les remplacements de modèle sont également isolés selon la configuration du fournisseur, le modèle et l’identité utilisateur transmise telle quelle. readWrite lit et alimente le cache, readOnly le lit sans l’alimenter, et writeOnly l’alimente sans le lire. Seules les réponses réussies d’une taille maximale de 8 Mio sont stockées. Les valeurs non valides entraînent le renvoi du code HTTP 400. La mise en cache des réponses n’est pas prise en charge pour les requêtes en diffusion en continu.
readWrite, readOnly, writeOnly Corps
1Avec OpenAI-Project, omettez ce champ, laissez-le vide ou utilisez router pour appliquer l’acheminement configuré. Utilisez {provider}/{model-id} pour remplacer le modèle au sein du projet.
1 <= x <= 90071992547409911 <= x <= 9007199254740991