Cette API appelle des modèles hébergés par Serverless Inference. Pour gérer les passerelles, les déploiements et les réservations de capacité de Dedicated Inference, consultez la référence de l’API Dedicated Inference. Pour comparer Serverless Inference, Dedicated Inference et Inference on CKS, consultez À propos de CoreWeave Inference.
URL de base
Accédez au service Serverless Inference à l’adresse suivante :Prérequis
Pour appeler l’API Serverless Inference, vous devez disposer des éléments suivants :- Un compte CoreWeave Forge disposant de crédits Serverless Inference.
- Une clé API CoreWeave Forge valide.
-
Installez les bibliothèques requises :
[YOUR-TEAM]/[YOUR-PROJECT]. Si vous ne les précisez pas, Serverless Inference utilise votre entity par défaut et le nom de projet inference.
Méthodes disponibles
L’API Serverless Inference fournit des points de terminaison compatibles avec OpenAI pour interagir avec les modèles de fondation. Les méthodes suivantes sont disponibles :- Chat Completions : générer des complétions de chat à l’aide de modèles de fondation.
- List Models : obtenir la liste de tous les modèles disponibles et de leurs ID.
Authentification
Toutes les requêtes API nécessitent une authentification par votre clé API CoreWeave Forge. Créez une clé API sur forge.coreweave.com/settings. Ajoutez votre clé API dans les en-têtes de la requête :- Pour le SDK d’OpenAI, définissez le paramètre
api_key. - Pour les appels d’API directs, utilisez
Authorization: Bearer [YOUR-API-KEY].
Gestion des erreurs
Pour obtenir la liste complète des codes d’erreur et savoir comment les résoudre, consultez Erreurs de l’API.Étapes suivantes
Une fois votre clé API obtenue, poursuivez avec l’une des options suivantes :- Essayez les exemples d’utilisation pour découvrir le fonctionnement de l’API.
- Explorez les modèles dans l’interface utilisateur de Serverless Inference.
- Consultez les limites d’utilisation applicables à votre compte.