Complétions de chat - CoreWeave Docs

Créez une complétion de chat à l’aide du point de terminaison /chat/completions. Ce point de terminaison respecte le format d’OpenAI pour l’envoi de messages et la réception des réponses.

Prérequis

Pour créer une complétion de chat, fournissez :

L’URL de base du service d’Inférence : https://api.inference.wandb.ai/v1.
Votre clé API W&B : [YOUR-API-KEY].
Votre équipe W&B et votre projet : [YOUR-TEAM]/[YOUR-PROJECT] (facultatif).
Un ID de modèle choisi parmi les modèles disponibles.

Exemples de requêtes

Les exemples suivants montrent comment envoyer une requête de complétion de chat avec Python et curl. Remplacez les valeurs d’espace réservé par votre propre clé API, votre équipe et votre projet (facultatifs), ainsi que par un ID de modèle.

Python
Bash

import openai

client = openai.OpenAI(
    # L’URL de base personnalisée pointe vers Serverless Inference
    base_url='https://api.inference.wandb.ai/v1',

    # Créez une clé API sur https://wandb.ai/settings
    # Pour plus de sécurité, il est préférable de la définir plutôt dans la variable d’environnement OPENAI_API_KEY
    api_key="[YOUR-API-KEY]",

    # Facultatif : équipe et projet pour le suivi de l’utilisation
    project="[YOUR-TEAM]/[YOUR-PROJECT]",
)

# Remplacez [MODEL-ID] par l’ID de n’importe quel modèle de la liste des modèles disponibles
response = client.chat.completions.create(
    model="[MODEL-ID]",
    messages=[
        {"role": "system", "content": "[YOUR-SYSTEM-PROMPT]"},
        {"role": "user", "content": "[YOUR-PROMPT]"}
    ],
)

print(response.choices[0].message.content)

curl https://api.inference.wandb.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer [YOUR-API-KEY]" \
  -H "OpenAI-Project: [YOUR-TEAM]/[YOUR-PROJECT]" \
  -d '{
    "model": "[MODEL-ID]",
    "messages": [
      { "role": "system", "content": "You are a helpful assistant." },
      { "role": "user", "content": "Tell me a joke." }
    ]
  }'

Format de la réponse

Une requête réussie renvoie une réponse au format suivant, compatible avec OpenAI, qui contient le message de l’assistant généré ainsi que le détail de l’utilisation des jetons.

{
  "id": "chatcmpl-...",
  "object": "chat.completion",
  "created": 1234567890,
  "model": "meta-llama/Llama-3.1-8B-Instruct",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Here's a joke for you..."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 25,
    "completion_tokens": 50,
    "total_tokens": 75
  }
}

​Prérequis

​Exemples de requêtes

​Format de la réponse

Prérequis

Exemples de requêtes

Format de la réponse