ウォームプールを実装する

​

プールの仕組み

​

レシピを実行する

1. レシピのリポジトリをダウンロードまたはクローンし、 recipes/warm-pool を開きます。依存関係をインストールし、環境ファイルを作成します。
   uv sync --frozen
   cp .env.example .env
   
2. .env と demo.py の冒頭付近で認証情報を設定します。
   • Forge APIキー
   • CoreWeave API アクセストークン

   Forge APIキーを .env に追加します。

   FORGE_API_KEY="[FORGE-API-KEY]"
   

   demo.py に次のインポートを追加し、既存の AUTH の代入を置き換えます。

   import os
   from cwsandbox import AuthHeaders
   
   AUTH = AuthHeaders(
       headers={"x-wandb-api-key": os.environ["FORGE_API_KEY"]},
       strategy="wandb_api_key",
   )
   

   このコードは FORGE_API_KEY を明示的に読み取り、SDK がサポートする認証ヘッダーを使用します。ヘッダー名とストラテジー名は互換性のための識別子であり、実際に使用する認証情報は Forge APIキーです。オプションの wandb 依存関係をインストールする必要はありません。

   トークンを .env に追加します。

   CWSANDBOX_API_KEY="[API-ACCESS-TOKEN]"
   

   レシピのデフォルトの AUTH 設定はそのままにしておきます。

   from cwsandbox import AuthStrategy
   
   AUTH = AuthStrategy.COREWEAVE_API_KEY
   
3. 比較を実行します。
   uv run --frozen --env-file .env demo.py
   

Verified 8 distinct workload sandboxes; all sandboxes stopped.

​

ワークロードに合わせてプールを調整する

POOL_SIZE = 2     # 待機状態のサンドボックスの目標数。
CONCURRENCY = 2   # 実行中のワークロードの最大数。
REQUESTS = 4      # 比較モードごとのリクエスト数。

async with pool.claim() as sandbox:
    await sandbox.exec(["sh", "-c", "echo hello > /tmp/result.txt"], check=True)
    result = await sandbox.exec(["cat", "/tmp/result.txt"], check=True)
    print(result.stdout)

​

プールを稼働させ続ける