Serverless Inference

Serverless Inference vous donne accès aux principaux modèles de fondation open source via une API compatible avec OpenAI. Vous pouvez créer des applications et des agents d’IA sans passer par un fournisseur d’hébergement ni héberger vous-même un modèle.

Essayer l’inférence dans l’interface utilisateur

Accédez à https://forge.coreweave.com/inference pour explorer les modèles disponibles et les essayer dans le Playground. Pour plus d’informations sur l’interface web, consultez Essayer des modèles dans l’interface utilisateur du Playground.

Utiliser Serverless Inference via l’API

Cet exemple en Python utilise Serverless Inference pour envoyer une requête de complétion de chat à un LLM.

import openai

client = openai.OpenAI(
    # L'URL de base personnalisée pointe vers Serverless Inference
    base_url='https://api.inference.wandb.ai/v1',

    # Créez une clé API sur https://forge.coreweave.com/settings
    api_key="[YOUR-API-KEY]",

    # Facultatif : équipe et projet utilisés pour le suivi de l'utilisation
    project="[YOUR-TEAM]/[YOUR-PROJECT]",
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."}
    ],
)

print(response.choices[0].message.content)

Étapes suivantes

Consultez les modèles disponibles.
Utilisez le service via l’API ou l’interface utilisateur du Playground.
Essayez les exemples d’utilisation.
Pour en savoir plus sur la tarification et les limites d’utilisation, consultez Informations d’utilisation et limites.

Paramètres de réponse

Tutoriels

Référence de l’API

Essayer l’inférence dans l’interface utilisateur

Utiliser Serverless Inference via l’API

Étapes suivantes

​Essayer l’inférence dans l’interface utilisateur

​Utiliser Serverless Inference via l’API

​Étapes suivantes

Essayer l’inférence dans l’interface utilisateur

Utiliser Serverless Inference via l’API

Étapes suivantes