モデルをサンドボックスにデプロイする

​

モデルをデプロイする

1. Registry にアクセスします。
2. レジストリを選択します。
3. コレクションを選択します。
4. モデルのバージョンを選択します。
5. アクションメニュー () を選択し、Deploy を選択します。
6. Version ドロップダウンから、デプロイするモデルのバージョンを選択します。
7. Deployment 名フィールドに、デプロイメントの名前を入力します。
8. Next を選択します。
9. デプロイメントに関連付けるチームを選択します。
10. コンピュートリソースを選択します。
11. Lifetime ドロップダウンから、サンドボックスの実行を許可する期間を選択します。
12. Serving engine を設定します。デフォルトのエンジンであり、現在サポートされている唯一のエンジンは vLLM です。
13. Next を選択します。
14. デプロイメントの詳細を確認し、Deploy を選択します。

​

コンピュートリソース

​

サンドボックスの状態

​

デプロイメントを表示する

1. Registry にアクセスします。
2. レジストリを選択します。
3. コレクションを選択します。
4. モデルのバージョンを選択します。
5. Deployments タブを選択します。
6. 次のいずれかの方法で、デプロイメントの詳細を開きます。
   • デプロイされたサンドボックスの名前を選択します。
   • アクションメニュー () を選択し、View deployment details を選択します。

​

デプロイメントの概要

• Status: サンドボックスの現在の状態。
• Created by: デプロイメントを作成したユーザー。
• Created at: デプロイメントの作成日時。

​

サンドボックスの設定

• Instance name: サンドボックスインスタンスの名前。
• Serving engine: モデルのサービングに使用するエンジン。
• Team: サンドボックスを作成したチーム。
• Compute resources: サンドボックスに割り当てられた CPU、メモリ、GPU のリソース。
• Expires in: サンドボックスの有効期限が切れるまでの残り時間。
• Endpoint address: デプロイされたサンドボックスへのリクエスト送信に使用するアドレス。
• curl example: curl を使用してデプロイメントのエンドポイントにリクエストを送信する例。

​

デプロイ済みモデルにアクセスする

​

エンドポイントアドレスを確認する

1. デプロイメントの詳細を開きます。
2. Sandbox configuration で Endpoint address を確認します。

​

デプロイメントをテストする

import httpx

base_url = "sandbox-url"

response = httpx.post(
    f"{base_url}/v1/chat/completions",
    headers={
        "Content-Type": "application/json",
    },
    json={
        "model": "local",
        "messages": [
            {
                "role": "user",
                "content": "Reply with OK."
            },
        ],
        "temperature": 0,
        "max_tokens": 5,
    },
    timeout=60,
)

response.raise_for_status()
print(response.json()["choices"][0]["message"]["content"])

curl --fail-with-body \
  "sandbox-url/v1/chat/completions" \
  --header "Content-Type: application/json" \
  --data '{
    "model": "local",
    "messages": [
      {
        "role": "user",
        "content": "Reply with OK."
      }
    ],
    "temperature": 0,
    "max_tokens": 5
  }'

​

デプロイメントをクローンする

1. Registry にアクセスします。
2. レジストリを選択します。
3. コレクションを選択します。
4. モデルのバージョンを選択します。
5. Deployments タブを選択します。
6. action () メニューを選択し、Clone deployment を選択します。
7. デプロイメントの設定を確認または更新し、デプロイメントを確定します。

​

デプロイメントを停止する

1. Registry にアクセスします。
2. レジストリを選択します。
3. コレクションを選択します。
4. モデルのバージョンを選択します。
5. Deployments タブを選択します。
6. デプロイメントを選択します。
7. アクションメニュー () を選択し、Stop deployment を選択します。

​

請求と使用量