評価ワークフローを選択する
SWE-bench ガイドでは、提供されたパッチを評価します。パッチの生成やモデルの呼び出しは行いません。DeepSWE と AutomationBench のガイドでは、エージェントの実行とモデルへのリクエストも評価の一部として行います。
モデル推論と評価の実行を分離する
モデルプロバイダーが応答を生成し、エージェントハーネスはその応答をもとに実行するコマンドを選択します。CoreWeave Sandboxes がそのコマンドを実行し、ベンチマークの検証器が、結果がタスクの要件を満たしているかどうかを判断します。 モデル選択と推論のホスティングは、使用するハーネスによって異なります。DeepSWE と AutomationBench のガイドではプロバイダーの例として Serverless Inference を使用していますが、CoreWeave Sandboxes で評価を実行するうえで Serverless Inference は必須ではありません。AutomationBench のレシピでは、.env の設定を通じて別の OpenAI 互換モデルエンドポイントを指定できます。一方、DeepSWE のレシピにはプロバイダー固有の設定が含まれているため、プロバイダーを変更する場合は、モデルへの接続と認証の設定を調整する必要があります。
エージェントループの実行場所も、インテグレーションによって異なります。DeepSWE のレシピでは、評価を起動するマシン上でエージェントループを実行し、シェルの action はリモートのサンドボックスで実行します。AutomationBench では Harbor をローカルで実行し、エージェントループは各試行のサンドボックス内で実行します。サンドボックス内でエージェントプロセスを実行するインテグレーションや、マネージドエージェントサービスに接続するインテグレーションについては、Agents を参照してください。