​

Serverless Inférence

• Développer des applications et des agents d’IA sans vous inscrire auprès d’un fournisseur d’hébergement ni héberger vous-même un modèle.
• Essayer les modèles pris en charge dans le Weave Playground.

• Prérequis
  • Prérequis supplémentaires pour utiliser l’API via Python
• Spécification de l’API
  • Point de terminaison
  • Méthodes disponibles
    • Complétions de chat
    • Lister les modèles pris en charge
• Exemples d’utilisation
• Interface utilisateur
  • Accéder au service d’Inférence
  • Tester un modèle dans le Playground
  • Comparer plusieurs modèles
  • Consulter les informations de facturation et d’utilisation
• Informations d’utilisation et limites
• Erreurs de l’API

​

Prérequis

1. Un compte CoreWeave Forge. Inscrivez-vous pour créer un compte.
2. Une clé API. Créez une clé API dans les Paramètres utilisateur.
3. Un projet Weights & Biases.
4. Si vous utilisez le service d’Inférence via Python, consultez Prérequis supplémentaires pour utiliser l’API via Python.

​

Prérequis supplémentaires pour utiliser l’API avec Python

pip install openai weave

​

Spécification de l’API

• Point de terminaison
• Méthodes disponibles
• Exemples d’utilisation

​

Point de terminaison

https://api.inference.wandb.ai/v1

​

Méthodes disponibles

• Complétions de chat
• Lister les modèles pris en charge

​

Complétions de chat

• L’URL de base du service d’Inférence https://api.inference.wandb.ai/v1
• Votre clé API W&B <your-api-key>
• Les noms de votre entity et de votre projet W&B <your-team>/<your-project>
• L’ID du modèle que vous souhaitez utiliser, parmi les suivants :
  • meta-llama/Llama-3.1-8B-Instruct
  • deepseek-ai/DeepSeek-V3-0324
  • meta-llama/Llama-3.3-70B-Instruct
  • deepseek-ai/DeepSeek-R1-0528
  • meta-llama/Llama-4-Scout-17B-16E-Instruct
  • microsoft/Phi-4-mini-instruct

curl https://api.inference.wandb.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <your-api-key>" \
  -H "OpenAI-Project: <your-team>/<your-project>" \
  -d '{
    "model": "<model-id>",
    "messages": [
      { "role": "system", "content": "You are a helpful assistant." },
      { "role": "user", "content": "Tell me a joke." }
    ]
  }'

import openai

client = openai.OpenAI(
    # L’URL de base personnalisée pointe vers Serverless Inference
    base_url='https://api.inference.wandb.ai/v1',

    # Créez une clé API sur https://forge.coreweave.com/settings
    # Pour plus de sécurité, il est préférable de la définir dans l’environnement via OPENAI_API_KEY
    api_key="<your-api-key>",

    # L’équipe et le projet sont requis pour le suivi de l’utilisation
    project="<your-team>/<your-project>",
)

# Remplacez <model-id> par l’une des valeurs suivantes :
# meta-llama/Llama-3.1-8B-Instruct
# deepseek-ai/DeepSeek-V3-0324
# meta-llama/Llama-3.3-70B-Instruct
# deepseek-ai/DeepSeek-R1-0528
# meta-llama/Llama-4-Scout-17B-16E-Instruct
# microsoft/Phi-4-mini-instruct

response = client.chat.completions.create(
    model="<model-id>",
    messages=[
        {"role": "system", "content": "<your-system-prompt>"},
        {"role": "user", "content": "<your-prompt>"}
    ],
)

print(response.choices[0].message.content)

​

Lister les modèles pris en charge

curl https://api.inference.wandb.ai/v1/models \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <your-api-key>" \
  -H "OpenAI-Project: <your-team>/<your-project>" \

import openai

client = openai.OpenAI(
    base_url="https://api.inference.wandb.ai/v1",
    api_key="<your-api-key>",
    project="<your-team>/<your-project>"
)

response = client.models.list()

for model in response.data:
    print(model.id)

​

Exemples d’utilisation

• Exemple de base : tracer Llama 3.1 8B avec Weave
• Exemple avancé : utiliser Weave Evaluations et les leaderboards avec le service d’Inférence

​

Exemple de base : tracer Llama 3.1 8B avec Weave

• Vous définissez une fonction run_chat, décorée avec @weave.op(), qui envoie une requête de complétion de chat à l’aide du client compatible avec OpenAI.
• Weave enregistre vos traces et les associe à votre entity W&B et à votre projet project="<your-team>/<your-project>".
• Weave trace automatiquement la fonction et journalise ses entrées, ses sorties, sa latence et ses métadonnées (comme l’ID du modèle).
• Le résultat s’affiche dans le terminal, et la trace apparaît dans l’onglet Traces du projet spécifié sur Forge.

import weave
import openai

# Définir l’équipe et le projet Weave pour le traçage
weave.init("<your-team>/<your-project>")

client = openai.OpenAI(
    base_url='https://api.inference.wandb.ai/v1',

    # Créer une clé API sur https://forge.coreweave.com/settings
    api_key="<your-api-key>",

    # Requis pour le suivi de l’utilisation de W&B Inference
    project="wandb/inference-demo",
)

# Tracer l’appel de modèle dans Weave
@weave.op()
def run_chat():
    response = client.chat.completions.create(
        model="meta-llama/Llama-3.1-8B-Instruct",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Tell me a joke."}
        ],
    )
    return response.choices[0].message.content

# Exécuter et journaliser l’appel tracé
output = run_chat()
print(output)

1. Accédez à Forge.
2. Sélectionnez l’onglet Traces pour afficher vos traces Weave.

​

Exemple avancé : utiliser Weave Evaluations et les leaderboards avec le service d’Inférence

import os
import asyncio
import openai
import weave
from weave.flow import leaderboard
from weave.trace.ref_util import get_ref

# Définir l’équipe et le projet Weave pour le traçage
weave.init("<your-team>/<your-project>")

dataset = [
    {"input": "What is 2 + 2?", "target": "4"},
    {"input": "Name a primary color.", "target": "red"},
]

@weave.op
def exact_match(target: str, output: str) -> float:
    return float(target.strip().lower() == output.strip().lower())

class WBInferenceModel(weave.Model):
    model: str

    @weave.op
    def predict(self, prompt: str) -> str:
        client = openai.OpenAI(
            base_url="https://api.inference.wandb.ai/v1",
            # Créez une clé API sur https://forge.coreweave.com/settings
            api_key="<your-api-key>",
            # Requis pour le suivi de l’utilisation de W&B Inference
            project="<your-team>/<your-project>",
        )
        resp = client.chat.completions.create(
            model=self.model,
            messages=[{"role": "user", "content": prompt}],
        )
        return resp.choices[0].message.content

llama = WBInferenceModel(model="meta-llama/Llama-3.1-8B-Instruct")
deepseek = WBInferenceModel(model="deepseek-ai/DeepSeek-V3-0324")

def preprocess_model_input(example):
    return {"prompt": example["input"]}

evaluation = weave.Evaluation(
    name="QA",
    dataset=dataset,
    scorers=[exact_match],
    preprocess_model_input=preprocess_model_input,
)

async def run_eval():
    await evaluation.evaluate(llama)
    await evaluation.evaluate(deepseek)

asyncio.run(run_eval())

spec = leaderboard.Leaderboard(
    name="Inference Leaderboard",
    description="Compare models on a QA dataset",
    columns=[
        leaderboard.LeaderboardColumn(
            evaluation_object_ref=get_ref(evaluation).uri(),
            scorer_name="exact_match",
            summary_metric_path="mean",
        )
    ],
)

weave.publish(spec)

• Accédez à l’onglet Traces pour consulter vos traces.
• Accédez à l’onglet Evals pour consulter les évaluations de vos modèles.
• Accédez à l’onglet Leaders pour consulter le leaderboard généré.

​

UI

​

Accéder au service d’Inférence

• Lien direct
• Depuis l’onglet Inference
• Depuis l’onglet Playground

​

Lien direct

​

Depuis l’onglet Inference

1. Accédez à votre compte CoreWeave Forge sur Forge.
2. Dans la barre latérale gauche, sélectionnez Inference. Une page s’affiche avec les modèles disponibles et des informations sur chacun d’eux.

​

Depuis l’onglet Playground

1. Dans la barre latérale gauche, sélectionnez Playground. L’interface de chat de Playground s’affiche.
2. Dans la liste déroulante des LLM, survolez Serverless Inference. Une liste déroulante des modèles Serverless Inference disponibles s’affiche à droite.
3. Depuis la liste déroulante des modèles Serverless Inference, vous pouvez :
   • Cliquer sur le nom d’un modèle disponible pour l’essayer dans le Playground.
   • Comparer un ou plusieurs modèles dans le Playground.

​

Tester un modèle dans le Playground

• Personnaliser les réglages et les paramètres du modèle
• Ajouter, relancer, modifier et supprimer des messages
• Enregistrer et réutiliser un modèle avec des réglages personnalisés
• Comparer plusieurs modèles

​

Comparer plusieurs modèles

• Accéder à la vue Compare depuis l’onglet Inference
• Accéder à la vue Compare depuis l’onglet Playground

​

Accéder à la vue Compare depuis l’onglet Inference

1. Dans la barre latérale gauche, sélectionnez Inference. Une page présentant les modèles disponibles et leurs informations s’affiche.
2. Pour sélectionner des modèles à comparer, cliquez n’importe où sur une carte de modèle (sauf sur le nom du modèle). La bordure de la carte passe en bleu pour indiquer qu’elle est sélectionnée.
3. Répétez l’étape 2 pour chaque modèle que vous souhaitez comparer.
4. Sur l’une des cartes sélectionnées, cliquez sur le bouton Compare N models in the Playground (N correspond au nombre de modèles comparés. Par exemple, si vous sélectionnez 3 modèles, le bouton affiche Compare 3 models in the Playground). La vue de comparaison s’ouvre.

​

Accéder à la vue Compare depuis l’onglet Playground

1. Dans la barre latérale gauche, sélectionnez Playground. L’interface de chat du Playground s’affiche.
2. Dans la liste déroulante des LLM, survolez Serverless Inference. Une liste déroulante des modèles Serverless Inference disponibles s’affiche à droite.
3. Dans cette liste déroulante, sélectionnez Compare. L’onglet Inference s’affiche.
4. Pour sélectionner les modèles à comparer, cliquez n’importe où sur la carte d’un modèle (sauf sur son nom). La bordure de la carte s’affiche en bleu pour indiquer qu’elle est sélectionnée.
5. Répétez l’étape 4 pour chaque modèle que vous souhaitez comparer.
6. Dans l’une des cartes sélectionnées, cliquez sur le bouton Compare N models in the Playground (N correspond au nombre de modèles que vous comparez. Par exemple, si vous sélectionnez 3 modèles, le bouton affiche Compare 3 models in the Playground). La vue de comparaison s’ouvre.

​

Consulter les informations de facturation et d’utilisation

1. Dans l’interface de Weights & Biases, accédez à la page Billing de W&B.
2. La carte d’informations de facturation d’Inférence s’affiche dans le coin inférieur droit. Depuis cette carte, vous pouvez :
   • Cliquer sur le bouton Voir l’utilisation de la carte d’informations de facturation d’Inférence pour consulter l’évolution de votre utilisation au fil du temps.
   • Consulter vos prochains frais d’inférence, si vous disposez d’un forfait payant.

​

Informations d’utilisation et limites

​

Restrictions géographiques

​

Limites de concurrence

• Prévenir les abus et préserver la stabilité de l’API.
• Garantir l’accès à tous les utilisateurs.
• Gérer efficacement la charge de l’infrastructure.

​

Tarification

​

Erreurs de l’API