Activer les réponses en streaming

Lorsque l’option stream est définie sur true, la réponse du modèle est renvoyée de manière incrémentielle, sous forme de flux de fragments. Vous pouvez ainsi afficher les résultats au fur et à mesure qu’ils arrivent, sans attendre la réponse complète. C’est particulièrement utile lorsque les modèles mettent du temps à générer leur sortie. Tous les modèles hébergés prennent en charge la sortie en streaming. Le streaming est recommandé pour les modèles de raisonnement, car les requêtes sans streaming peuvent expirer si le modèle tarde à commencer à produire sa sortie. Les exemples suivants activent le streaming pour une requête de complétion de chat :

Python
Bash

import openai

client = openai.OpenAI(
    base_url='https://api.inference.wandb.ai/v1',
    api_key="[YOUR-API-KEY]",  # Créez une clé API sur https://forge.coreweave.com/settings
)

stream = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[
        {"role": "user", "content": "Tell me a rambling joke"}
    ],
    stream=True,
)

for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
    else:
        print(chunk) # Afficher l’objet CompletionUsage

curl https://api.inference.wandb.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer [YOUR-API-KEY]" \
  -d '{
    "model": "openai/gpt-oss-120b",
    "messages": [
      { "role": "user", "content": "Tell me a rambling joke" }
    ],
    "stream": true
  }'