チャット補完 - CoreWeave Docs

/chat/completions エンドポイントを使用して、チャット補完を作成します。このエンドポイントでは、メッセージの送信と応答の受信に OpenAI と同じ形式を使用します。

要件

チャット補完を作成するには、次の情報を指定します。

Inference サービスのベース URL: https://api.inference.wandb.ai/v1
W&B APIキー: [YOUR-API-KEY]
W&B のチームと project: [YOUR-TEAM]/[YOUR-PROJECT] (オプション)
利用可能なモデルのいずれかのモデル ID

リクエストの例

以下の例では、Python と curl を使用してチャット補完リクエストを送信する方法を示します。プレースホルダーの値を、ご自身の APIキー、チームと project (任意) 、およびモデル ID に置き換えてください。

Python
Bash

import openai

client = openai.OpenAI(
    # カスタムのベース URL で Serverless Inference を指定します
    base_url='https://api.inference.wandb.ai/v1',

    # APIキーは https://wandb.ai/settings で作成します
    # 安全のため、代わりに環境変数 OPENAI_API_KEY として設定することを検討してください
    api_key="[YOUR-API-KEY]",

    # オプション: 使用量のトラッキングに使用するチームと project
    project="[YOUR-TEAM]/[YOUR-PROJECT]",
)

# [MODEL-ID] を、利用可能なモデル一覧にある任意のモデル ID に置き換えます
response = client.chat.completions.create(
    model="[MODEL-ID]",
    messages=[
        {"role": "system", "content": "[YOUR-SYSTEM-PROMPT]"},
        {"role": "user", "content": "[YOUR-PROMPT]"}
    ],
)

print(response.choices[0].message.content)

curl https://api.inference.wandb.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer [YOUR-API-KEY]" \
  -H "OpenAI-Project: [YOUR-TEAM]/[YOUR-PROJECT]" \
  -d '{
    "model": "[MODEL-ID]",
    "messages": [
      { "role": "system", "content": "You are a helpful assistant." },
      { "role": "user", "content": "Tell me a joke." }
    ]
  }'

応答形式

リクエストが成功すると、次のような OpenAI 互換形式の応答が返されます。この応答には、生成されたアシスタントメッセージとトークン使用量の詳細が含まれます。

{
  "id": "chatcmpl-...",
  "object": "chat.completion",
  "created": 1234567890,
  "model": "meta-llama/Llama-3.1-8B-Instruct",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Here's a joke for you..."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 25,
    "completion_tokens": 50,
    "total_tokens": 75
  }
}

​要件

​リクエストの例

​応答形式

要件

リクエストの例

応答形式