Cette API appelle des modèles hébergés par Serverless Inference. Pour gérer les passerelles, les déploiements et les réservations de capacité de Dedicated Inference, consultez la référence de l’API Dedicated Inference. Pour comparer Serverless Inference, Dedicated Inference et Inference on CKS, consultez À propos de CoreWeave Inference.
URL de base
Accédez au service d’Inférence à l’adresse suivante :Prérequis
Pour appeler l’API d’Inférence, vous devez disposer des éléments suivants :- Un compte W&B disposant de crédits d’Inférence.
- Une clé API W&B valide.
[YOUR-TEAM]/[YOUR-PROJECT]. Si vous ne les précisez pas, W&B utilise votre entity par défaut et le nom de projet inference.
Méthodes disponibles
L’API d’Inférence fournit des points de terminaison compatibles avec OpenAI pour interagir avec les modèles de fondation. Les méthodes suivantes sont disponibles :- Chat Completions : générer des complétions de chat à l’aide de modèles de fondation.
- List Models : obtenir la liste de tous les modèles disponibles et de leurs ID.
Authentification
Toutes les requêtes API nécessitent une authentification par votre clé API W&B. Créez une clé API sur forge.coreweave.com/settings. Ajoutez votre clé API dans les en-têtes de la requête :- Pour le SDK d’OpenAI, définissez le paramètre
api_key. - Pour les appels d’API directs, utilisez
Authorization: Bearer [YOUR-API-KEY].
Gestion des erreurs
Pour obtenir la liste complète des codes d’erreur et savoir comment les résoudre, consultez Erreurs de l’API.Étapes suivantes
Une fois votre clé API obtenue, poursuivez avec l’une des options suivantes :- Essayez les exemples d’utilisation pour découvrir le fonctionnement de l’API.
- Explorez les modèles dans l’interface utilisateur d’Inférence.
- Consultez les limites d’utilisation applicables à votre compte.