> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.

# CoreWeave 샌드박스에서 평가 실행하기

> 샌드박스에서 코드 패치, 코딩 에이전트, 도구 호출 모델을 평가하는 데 사용할 벤치마크 워크플로를 선택하세요.

CoreWeave Sandboxes를 사용하면 격리된 환경에서 코드를 실행하고 벤치마크 테스트를 수행할 수 있습니다. 평가 하니스는 작업을 준비하고, 에이전트를 실행하거나 제출된 출력을 적용한 다음, 결과를 확인하고 점수를 수집합니다. 샌드박스는 이러한 오퍼레이션에 필요한 컴퓨팅 리소스와 파일 시스템을 제공합니다.

패치를 채점할지, 코딩 에이전트를 평가할지, 아니면 시뮬레이션된 비즈니스 워크플로에서 모델을 테스트할지에 따라 적합한 워크플로를 선택하세요.

<h2 id="choose-an-evaluation-workflow">
  평가 워크플로 선택
</h2>

| 가이드 | 준비 항목 | 워크플로 |
| - | - | - |
| [SWE-bench](/ko/products/sandboxes/client/guides/swebench) | 모델이 생성한 패치 또는 데이터셋의 정답(gold) 패치 | 각 패치를 해당 작업 저장소에 적용하고, 샌드박스에서 테스트를 실행한 다음, 채점 보고서를 수집합니다. 이 예시는 동시 평가를 지원합니다. |
| [DeepSWE v1.1](/ko/products/sandboxes/evals/deepswe) | 작업 프롬프트와 설정된 코딩 에이전트 | 에이전트가 작업 샌드박스에서 코드를 편집하게 한 뒤, 커밋된 패치를 수집하여 새 검증용 샌드박스에서 채점합니다. 작업 하나로 시작한 다음 두 개로 늘리세요. |
| [AutomationBench](/ko/products/sandboxes/evals/automationbench) | 비즈니스 워크플로 작업과 설정된 모델 엔드포인트 | Harbor 스케줄링으로 시뮬레이션된 애플리케이션 작업을 실행하고, 벤치마크 평가기로 결과를 확인합니다. 동시성을 높이기 전에 먼저 작업 하나로 시작하세요. |

SWE-bench 가이드는 제공된 패치를 평가할 뿐, 패치를 생성하거나 모델을 호출하지는 않습니다. 반면 DeepSWE 및 AutomationBench 가이드에서는 에이전트 실행과 모델 요청이 평가 과정에 포함됩니다.

<h2 id="separate-model-inference-from-evaluation-execution">
  모델 추론과 평가 실행 분리하기
</h2>

모델 공급자는 응답을 생성합니다. 에이전트 하니스는 이 응답을 바탕으로 실행할 명령어를 선택합니다. CoreWeave Sandboxes는 해당 명령어를 실행하고, 벤치마크 검증기는 그 결과가 작업 요구 사항을 충족하는지 확인합니다.

모델 선택과 추론 호스팅 방식은 사용하는 하니스에 따라 달라집니다. DeepSWE 및 AutomationBench 가이드에서는 Serverless Inference를 예시 공급자로 사용하지만, CoreWeave Sandboxes에서 평가를 실행할 때 Serverless Inference가 필수는 아닙니다. AutomationBench 레시피에서는 `.env` 설정을 통해 다른 OpenAI 호환 모델 엔드포인트를 지정할 수 있습니다. DeepSWE 레시피에는 공급자별 설정이 포함되어 있으므로, 공급자를 변경하려면 모델 연결 및 인증 부분을 수정해야 합니다.

에이전트 루프가 실행되는 위치도 인테그레이션에 따라 다릅니다. DeepSWE 레시피는 평가를 시작한 머신에서 에이전트 루프를 실행하고, 셸 작업은 원격 샌드박스에서 실행합니다. AutomationBench는 Harbor를 로컬에서 실행하고, 에이전트 루프는 각 시도 샌드박스 내부에서 실행합니다. 샌드박스 내부에서 에이전트 프로세스를 실행하거나 관리형 에이전트 서비스를 연결하는 인테그레이션에 대해서는 [에이전트](/ko/products/sandboxes/agents)를 참조하세요.

<h2 id="run-a-sample-and-inspect-the-outcome">
  샘플 실행 및 결과 검사
</h2>

선택한 가이드에 따라 사용자 인증 정보를 설정하고 의존성을 설치한 다음, 동시성이나 작업 수를 늘리기 전에 소규모 샘플부터 실행하세요. 무엇을 평가했는지 파악할 수 있도록 벤치마크 버전, 모델, 에이전트 구성, 실행 제한을 결과와 함께 기록해 두세요.

인프라 오류는 벤치마크 점수와 분리해서 확인하세요. 샌드박스 시작에 실패했다고 해서 에이전트가 작업을 해결할 수 있는지 여부를 판단할 수는 없습니다. 완료된 평가는 작업 출력과 채점 보고서를 검사하세요.

run이 종료되면 가이드의 정리 단계를 따르세요. 맞춤형 평가 하니스를 사용하는 경우 [명령어 실행](/ko/products/sandboxes/client/guides/execution), [파일 작업](/ko/products/sandboxes/client/guides/file-operations), [정리 패턴](/ko/products/sandboxes/client/guides/cleanup-patterns)을 참조하세요.