Avant de commencer, vous devez disposer de l’URL de base de l’API du fournisseur, d’une clé API et d’au moins un ID de modèle exposé par ce point de terminaison. Si vous utilisez uniquement le fournisseur intégré
wandb-inference, vous pouvez ignorer l’enregistrement d’un fournisseur.1
Ouvrir les paramètres des fournisseurs
Dans l’interface utilisateur, ouvrez le menu de l’entity et sélectionnez Providers. La configuration des fournisseurs s’applique à l’entity W&B sélectionnée.
2
Enregistrer le fournisseur
Dans Add provider, saisissez un nom de fournisseur en minuscules, l’URL de base de l’API compatible avec OpenAI et la clé API. Sélectionnez ensuite Add provider.L’interface utilisateur chiffre la clé API avant de la stocker et publie de manière asynchrone les modifications apportées aux fournisseurs hébergés.
3
Attendre que le fournisseur soit disponible
Développez le fournisseur et vérifiez que son statut de déploiement est Applied pour la révision actuelle.
4
Activer un modèle
Dans la liste des modèles du fournisseur, activez un modèle connu ou ajoutez l’ID exact du modèle exposé par le point de terminaison. Si vous souhaitez que l’interface utilisateur estime les coûts, ajoutez la tarification des entrées et des sorties.Le modèle apparaît alors dans les sélecteurs de modèle de l’interface utilisateur sous la forme
{provider}/{model}.Comportement des fournisseurs et options de l’API
Découvrez comment faire pivoter les identifiants d’authentification, gérer les modèles et supprimer un fournisseur en toute sécurité.