Serverless Inférence - CoreWeave Docs

Serverless Inférence vous donne accès aux principaux modèles de fondation open source via W&B Weave et une API compatible avec OpenAI.

Avec Inférence, vous pouvez créer des applications et des agents d’IA sans passer par un fournisseur d’hébergement ni héberger vous-même un modèle.
Avec Weave, vous pouvez tracer, évaluer, surveiller et améliorer vos applications basées sur Serverless Inférence.

Essayer Inférence dans l’interface utilisateur

Accédez à https://forge.coreweave.com/inference pour explorer les modèles disponibles et les essayer dans le Weave Playground. Pour plus d’informations sur l’interface web, consultez le guide de l’interface utilisateur.

Utiliser Inférence via l’API

Cet exemple en Python utilise Inférence pour envoyer une requête de complétion de chat à un LLM.

import openai

client = openai.OpenAI(
    # L'URL de base personnalisée pointe vers Serverless Inference
    base_url='https://api.inference.wandb.ai/v1',

    # Créez une clé API sur https://forge.coreweave.com/settings
    api_key="<your-api-key>",

    # Facultatif : équipe et projet utilisés pour le suivi de l'utilisation
    project="<your-team>/<your-project>",
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."}
    ],
)

print(response.choices[0].message.content)

Étapes suivantes

Configurez votre compte en suivant les prérequis.
Consultez les modèles disponibles ainsi que les informations d’utilisation et les limites.
Utilisez le service via l’API ou l’interface utilisateur.
Testez les modèles pris en charge dans le W&B Weave Playground.
Essayez les exemples d’utilisation.

Pour en savoir plus sur la tarification, les limites d’utilisation et les crédits, consultez Informations d’utilisation et limites.

Dernière modification le 30 septembre 2026

​Essayer Inférence dans l’interface utilisateur

​Utiliser Inférence via l’API

​Étapes suivantes

Essayer Inférence dans l’interface utilisateur

Utiliser Inférence via l’API

Étapes suivantes