Connect your application - CoreWeave Docs

ほとんどのチャット補完アプリケーションでは、新しいベース URL、APIキー、モデル名を指定するだけで利用できます。それ以外のリクエストと応答の処理は変わりません。

始める前に

W&B APIキー、ルーティングが適用された project、およびその project の W&B entity が必要です。

Python
JavaScript
cURL

import os

from openai import OpenAI

client = OpenAI(
    base_url="https://proxy.training.wandb.ai/v1",
    api_key=os.environ["WANDB_API_KEY"],
)

response = client.chat.completions.create(
    model="ticket-classifier",
    messages=[
        {"role": "user", "content": "My package arrived damaged. What should I do?"}
    ],
    extra_body={
        "metadata": {
            "wandb.entity": "your-team",
            "wandb.thread_id": "customer-4827",
        }
    },
)

print(response.choices[0].message.content)

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://proxy.training.wandb.ai/v1",
  apiKey: process.env.WANDB_API_KEY,
});

const response = await client.chat.completions.create({
  model: "ticket-classifier",
  messages: [
    { role: "user", content: "My package arrived damaged. What should I do?" },
  ],
  metadata: {
    "wandb.entity": "your-team",
    "wandb.thread_id": "customer-4827",
  },
});

console.log(response.choices[0].message.content);

curl https://proxy.training.wandb.ai/v1/chat/completions \
  -H "Authorization: Bearer $WANDB_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ticket-classifier",
    "messages": [
      {"role": "user", "content": "My package arrived damaged. What should I do?"}
    ],
    "metadata": {
      "wandb.entity": "your-team",
      "wandb.thread_id": "customer-4827"
    }
  }'

project が APIキーのデフォルトの entity に属する場合にのみ、wandb.entity を省略してください。

インテグレーションを確認する

リクエストを送信した後、project の概要に戻ります。次の点を確認してください。

リクエスト数が増えていること;
想定したモデルがリクエストを処理したこと;
保存された入力と回答が正しいこと。

プロキシが個人の entity に project が存在しないと表示した場合は、metadata["wandb.entity"] にチーム名を追加してください。

会話のアイデンティティを保持する

1 つの会話内のすべてのリクエストで同じ wandb.thread_id を使用します。これにより、段階的なロールアウト中も会話で同じモデルが使用され、データの準備時に関連するサンプルがまとめられます。

チャット補完の詳細

ストリーミング、ツール、構造化出力、プロバイダーのパラメーター、リクエストの優先順位について説明します。

​始める前に

​インテグレーションを確認する

​会話のアイデンティティを保持する

チャット補完の詳細

始める前に

インテグレーションを確認する

会話のアイデンティティを保持する