> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.

# CoreWeave Sandboxes で評価を実行する

> サンドボックス内でコードパッチ、コーディングエージェント、ツール呼び出しモデルを評価するためのベンチマークワークフローを選択します。

CoreWeave Sandboxes を使用すると、分離された環境でコードの実行やベンチマークテストを行えます。評価ハーネスは、タスクの準備、エージェントの実行または送信された出力の適用、結果の確認、スコアの収集を行います。これらの操作に必要なコンピュートとファイルシステムは、サンドボックスが提供します。

パッチを採点したいのか、コーディングエージェントを評価したいのか、それともシミュレートされた企業向けワークフローでモデルをテストしたいのかに応じて、ワークフローを選択してください。

<h2 id="choose-an-evaluation-workflow">
  評価ワークフローを選択する
</h2>

| ガイド | 必要なもの | ワークフロー |
| - | - | - |
| [SWE-bench](/ja/products/sandboxes/client/guides/swebench) | モデルが生成したパッチ、またはデータセットのゴールドパッチ | 各パッチを対応するタスクのリポジトリに適用し、サンドボックス内でテストを実行して、採点レポートを収集します。この例では評価の同時実行をサポートしています。 |
| [DeepSWE v1.1](/ja/products/sandboxes/evals/deepswe) | タスクのプロンプトと設定済みのコーディングエージェント | エージェントにタスク用サンドボックス内でコードを編集させ、コミットされたパッチを収集し、新しい検証用サンドボックスで採点します。まず 1 つのタスクで試し、その後 2 つに増やします。 |
| [AutomationBench](/ja/products/sandboxes/evals/automationbench) | 業務ワークフローのタスクと設定済みのモデルエンドポイント | Harbor のスケジューリングを使用してシミュレートされたアプリケーションタスクを実行し、ベンチマークの評価器で成果を確認します。同時実行数を増やす前に、まず 1 つのタスクで試します。 |

SWE-bench ガイドでは、提供されたパッチを評価します。パッチの生成やモデルの呼び出しは行いません。DeepSWE と AutomationBench のガイドでは、エージェントの実行とモデルへのリクエストも評価の一部として行います。

<h2 id="separate-model-inference-from-evaluation-execution">
  モデル推論と評価の実行を分離する
</h2>

モデルプロバイダーが応答を生成し、エージェントハーネスはその応答をもとに実行するコマンドを選択します。CoreWeave Sandboxes がそのコマンドを実行し、ベンチマークの検証器が、結果がタスクの要件を満たしているかどうかを判断します。

モデル選択と推論のホスティングは、使用するハーネスによって異なります。DeepSWE と AutomationBench のガイドではプロバイダーの例として Serverless Inference を使用していますが、CoreWeave Sandboxes で評価を実行するうえで Serverless Inference は必須ではありません。AutomationBench のレシピでは、`.env` の設定を通じて別の OpenAI 互換モデルエンドポイントを指定できます。一方、DeepSWE のレシピにはプロバイダー固有の設定が含まれているため、プロバイダーを変更する場合は、モデルへの接続と認証の設定を調整する必要があります。

エージェントループの実行場所も、インテグレーションによって異なります。DeepSWE のレシピでは、評価を起動するマシン上でエージェントループを実行し、シェルの action はリモートのサンドボックスで実行します。AutomationBench では Harbor をローカルで実行し、エージェントループは各試行のサンドボックス内で実行します。サンドボックス内でエージェントプロセスを実行するインテグレーションや、マネージドエージェントサービスに接続するインテグレーションについては、[Agents](/ja/products/sandboxes/agents) を参照してください。

<h2 id="run-a-sample-and-inspect-the-outcome">
  サンプルを実行して結果を確認する
</h2>

選択したガイドに従って認証情報を設定し、依存関係をインストールしてから、まず小規模なサンプルを実行します。同時実行数やタスク数を増やすのはその後にしてください。何を評価したのかを特定できるように、ベンチマークのバージョン、モデル、エージェント設定、実行制限を結果と一緒に記録しておきます。

インフラストラクチャーのエラーは、ベンチマークのスコアとは切り分けて確認してください。サンドボックスの起動に失敗したからといって、エージェントがタスクを解決できるかどうかの判断材料にはなりません。完了した評価については、タスクの出力と採点レポートを確認します。

実行が完了したら、ガイドに記載されているクリーンアップ手順を実施します。カスタム評価ハーネスについては、[コマンド実行](/ja/products/sandboxes/client/guides/execution)、[ファイル操作](/ja/products/sandboxes/client/guides/file-operations)、[クリーンアップのパターン](/ja/products/sandboxes/client/guides/cleanup-patterns)を参照してください。