SWE-bench

CoreWeave 샌드박스를 사용하여 SWE-bench 평가를 병렬로 실행하세요. 이 가이드는 대규모로 언어 모델의 코드 수정 성능을 평가하려는 ML 실무자와 연구자를 위한 것입니다. 이 가이드를 마치면, 여러 CoreWeave 샌드박스에서 SWE-bench 평가를 동시에 실행하고 결과를 로컬에 저장하여 분석할 수 있는 작동하는 설정을 갖추게 됩니다.

이 기능의 역할

SWE-bench는 언어 모델이 실제 저장소에서 실제 버그를 수정할 수 있는지 테스트합니다. 각 작업은 패치를 적용하고 테스트 스위트를 실행한 후 수정이 작동하는지 확인합니다. 도커로 SWE-bench를 로컬에서 실행할 수 있지만, 머신의 리소스가 제한됩니다. CoreWeave 샌드박스를 사용하면 CoreWeave 인프라에서 평가를 대규모로 실행할 수 있습니다. 직접 관리하지 않고도 수십 또는 수백 개의 샌드박스를 동시에 시작할 수 있습니다. 각 샌드박스는 GitHub Container Registry(GHCR)에 있는 Epoch AI 레지스트리의 사전 구축된 이미지로 시작됩니다. 이미지는 사용자의 머신이 아니라 샌드박스 플랫폼에서 가져오므로 도커나 로컬 구축 단계가 필요 없습니다.

설정

평가를 실행하기 전에 다음 단계에 따라 필요한 도구를 설치하고 인증을 설정하세요.

Python 가상 환경을 준비한 다음 SDK와 평가에 필요한 의존성을 설치하세요.
uv pip install cwsandbox swebench datasets

예시 평가 스크립트가 포함된 저장소를 복제하세요.

git clone https://github.com/coreweave/cwsandbox-client.git
cd cwsandbox-client

평가 샌드박스를 소유한 계정의 사용자 인증 정보를 선택하세요. 각 사용자 인증 정보를 획득하는 방법은 사용자 인증 정보 선택 및 조회를 참조하세요.

Forge API 키
CoreWeave API 액세스 토큰

W&B 통합을 설치하고 Forge API 키를 환경 변수로 내보내세요.

uv pip install 'cwsandbox[wandb]>=1.14.2'
export WANDB_API_KEY="[WANDB-API-KEY]"

examples/swebench/run_evaluation.py에서 cwsandbox로부터 임포트하는 항목에 AuthStrategy를 추가하고, 기존 SandboxDefaults(...) 호출에 auth=AuthStrategy.WANDB를 추가하세요. 이렇게 하면 CWSANDBOX_API_KEY가 함께 설정되어 있더라도 평가 세션의 모든 샌드박스에서 W&B 인증을 사용합니다.

CoreWeave 토큰을 환경 변수로 내보내세요.

export CWSANDBOX_API_KEY="[API-ACCESS-TOKEN]"

평가 스크립트는 기본적으로 CoreWeave 인증을 사용합니다. 이를 명시적으로 지정하려면 examples/swebench/run_evaluation.py에서 cwsandbox로부터 임포트하는 항목에 AuthStrategy를 추가하고, 기존 SandboxDefaults(...) 호출에 auth=AuthStrategy.COREWEAVE_API_KEY를 추가하세요.

두 옵션 모두 기본적으로 서버리스 용량을 사용합니다. 자체 CKS 용량에서 실행하려면 CoreWeave 토큰을 선택하고 러너를 활성화한 다음, 같은 SandboxDefaults(...) 호출에 placement_mode="cks"를 추가하세요.

빠른 시작

확장하기 전에 단일 인스턴스 run으로 시작하여 환경과 사용자 인증 정보가 작동하는지, 그리고 샌드박스가 GHCR 이미지에서 시작될 수 있는지 확인하세요. gold 옵션은 데이터셋의 알려진 올바른 수정을 사용합니다:

uv run python examples/swebench/run_evaluation.py \
    --predictions-path gold \
    --instance-ids astropy__astropy-12907 \
    --run-id test

이 run은 통과하여, 샌드박스가 이미지에서 시작하고 패치를 apply하며, 테스트 스위트를 end to end로 실행할 수 있음을 확인합니다.

병렬 실행

여러 인스턴스를 동시에 실행하세요:

uv run python examples/swebench/run_evaluation.py \
    --predictions-path gold \
    --instance-ids \
        astropy__astropy-12907 \
        django__django-11039 \
        django__django-11099 \
        django__django-11283 \
        matplotlib__matplotlib-23476 \
        scikit-learn__scikit-learn-13142 \
        sympy__sympy-13031 \
        sympy__sympy-13647 \
    --run-id parallel-test \
    --max-workers 8

이 명령은 8개의 샌드박스를 시작하고 동시에 실행합니다. gold 패치가 올바른 수정이기 때문에 모두 통과합니다.

모델 예측 평가

맞춤형 모델 출력을 테스트하려면:

uv run python examples/swebench/run_evaluation.py \
    --predictions-path predictions.json \
    --instance-ids django__django-11039 scikit-learn__scikit-learn-13142 \
    --run-id eval-run-1 \
    --max-workers 10

예측 파일은 인스턴스 ID를 패치에 매핑합니다.

[
  {
    "instance_id": "django__django-11039",
    "model_name_or_path": "gpt-4",
    "model_patch": "diff --git a/..."
  }
]

옵션

옵션	기본값	설명
`--predictions-path`	Required	예측 JSON의 경로, 또는 gold 패치를 위한 `gold`
`--instance-ids`	Required	공백으로 구분된 인스턴스 ID
`--run-id`	Required	이 run의 식별자
`--max-workers`	10	최대 병렬 샌드박스
`--timeout`	1800	인스턴스당 timeout(초) (30분)
`--output-dir`	`logs/swebench`	로그 및 리포트를 작성할 위치
`--dataset`	`princeton-nlp/SWE-bench_Lite`	Hugging Face 데이터셋 이름
`--force`	false	report.json이 존재하더라도 인스턴스를 다시 실행

리소스 조정

기본값은 샌드박스당 CPU 2개와 메모리 4Gi입니다. run_evaluation.py에서 이를 변경하세요:

defaults = SandboxDefaults(
    tags=(f"swebench-{run_id}",),
    resources={"cpu": "4", "memory": "8Gi"},
)

작동 방식

이 섹션에서는 스크립트의 동작 원리를 설명하므로, 사용자가 자신의 평가 워크플로에 맞게 조정할 수 있습니다.

Container images

Epoch AI는 GHCR에 사전 구축된 이미지를 호스팅합니다. 각 인스턴스에는 올바른 커밋에서 체크아웃된 저장소, 설치된 의존성, 준비된 테스트 환경이 포함된 자체 이미지가 있습니다. 이미지 이름 형식은 다음과 같습니다: ghcr.io/epoch-research/swe-bench.eval.{arch}.{instance_id.lower()}:latest 스크립트는 인스턴스 ID를 소문자로 변환해 이미지 이름에 사용합니다. arch 값은 테스트 사양의 arch 속성에서 가져오며, 이 속성이 없으면 x86_64를 사용합니다. 샌드박스 플랫폼은 샌드박스를 시작할 때 GHCR에서 각 이미지를 가져옵니다. 자체 CKS 용량을 사용하는 경우에는 클러스터의 노드가 이미지를 가져옵니다. 사용자의 머신에서 ghcr.io에 액세스할 필요가 없으며, 로컬 구축도 필요하지 않습니다.

평가 flow

각 인스턴스는 다음 단계를 거칩니다:

단계	위치	발생하는 일
1. 데이터셋 로드	Local	Hugging Face에서 인스턴스 메타데이터 가져오기
2. 샌드박스 생성	샌드박스	인스턴스의 이미지로 샌드박스 시작
3. 패치 작성	샌드박스	`/tmp/patch.diff`에 패치 작성
4. 패치 적용	샌드박스	`git apply` 실행 (필요 시 `patch`로 대체)
5. 테스트 실행	샌드박스	`/root/eval.sh` 실행
6. 결과 채점	Local	`swebench.harness.grading`으로 출력 파싱
7. 보고서 작성	Local	결과를 `logs/swebench/`에 저장
8. 정리	샌드박스	샌드박스 중지

단계 2~5와 8은 원격으로 실행됩니다. 단계 1, 6, 7은 사용자 머신에서 실행됩니다.

병렬 실행

스크립트는 ThreadPoolExecutor를 사용하여 인스턴스 워크플로를 동시에 실행합니다. 각 스레드는 하나의 인스턴스를 워크플로를 통해 구동합니다. 한 인스턴스가 테스트하는 동안, 다른 인스턴스는 패치를 적용할 수 있고, 또 다른 인스턴스는 로컬에서 평가하고, 또 다른 인스턴스는 시작할 수 있습니다. 이러한 중첩이 속도의 원천입니다. 워크플로가 as_completed()를 통해 종료하면 결과가 반환됩니다.

정리

이 스크립트는 샌드박스 Session을 사용해 샌드박스를 추적합니다. 세션이 종료되면(정상 종료, 예외 발생 또는 Ctrl+C) 세션이 모든 샌드박스를 정리합니다.

with cwsandbox.Session(defaults=defaults) as session:
    with ThreadPoolExecutor(max_workers=max_workers) as executor:
        # 세션이 종료될 때 여기서 생성된 샌드박스를 정리합니다

출력

결과는 {output-dir}/{run-id}/{model-name}/{instance-id}/에 저장됩니다:

파일	내용
`report.json`	최종 상태, 샌드박스 ID, 소요 시간, 오류가 발생한 인스턴스의 경우 해당 오류
`test_output.txt`	전체 테스트 출력
`patch.diff`	적용된 패치

보고서 형식

{
  "instance_id": {
    "resolved": true,
    "tests_status": {
      "PASSED": ["test_foo", "test_bar"],
      "FAILED": []
    }
  },
  "sandbox_id": "sandbox-abc123",
  "duration_seconds": 45.2
}

인스턴스에 오류가 발생하면(예: 샌드박스가 시작되지 않는 경우) report.json에 "errored": true와 error_message 문자열도 함께 포함됩니다. 이 경우 테스트 결과와 sandbox_id는 생략될 수 있습니다. 이 형식은 표준 SWE-bench 도구와 호환됩니다.

문제 해결

패치 적용 실패

로그에 APPLY_PATCH_FAIL이 표시되면 패치 형식이 잘못되었거나, 잘못된 커밋을 대상으로 하거나, whitespace 문제가 있을 수 있습니다. 로컬에서 git apply --check를 실행하여 문제를 확인하세요. 인스턴스 ID가 예측과 일치하는지 확인하세요.

테스트 timeout

일부 테스트 스위트는 30분 이상 걸립니다. 모델이 생성한 코드에 무한 루프가 있을 수도 있습니다. 필요한 경우 --timeout을 늘리거나 테스트 출력을 확인하여 어디에서 멈췄는지 파악하세요.

이미지 가져오기 오류

샌드박스 플랫폼이 인스턴스의 이미지를 가져오지 못하면 해당 샌드박스는 시작되지 않습니다. 스크립트는 [astropy__astropy-12907] Error: ...와 같이 인스턴스 ID와 함께 오류를 로깅하고, 해당 인스턴스의 report.json에 있는 error_message 필드에도 기록합니다. 이미지 가져오기는 사용자의 머신이 아닌 CoreWeave 인프라에서 실행되므로, 로컬 환경의 ghcr.io 네트워크 액세스 문제는 원인이 아닙니다. 오류 메시지를 확인한 다음, 다음과 같은 주요 원인을 점검하세요.

이미지를 찾을 수 없음: Epoch AI가 해당 인스턴스 ID의 이미지를 게시하고 있는지 확인하세요. --dataset 데이터셋에 없는 인스턴스 ID는 샌드박스 단계까지 가지 않습니다. 스크립트가 Instance IDs not found in dataset를 로깅하고 해당 인스턴스를 건너뜁니다.
자체 CKS 용량: placement_mode="cks"를 설정한 경우 클러스터의 노드가 이미지를 가져오므로, 노드에 ghcr.io에 대한 아웃바운드 액세스가 있어야 합니다. 또한 러너의 샌드박스 정책에서 ghcr.io/epoch-research의 이미지를 허용해야 합니다.

참고

명령 실행 가이드: exec() 패턴에 대한 세부 정보.
정리 패턴: 샌드박스 라이프사이클 관리.

샌드박스

샌드박스 사용하기

샌드박스 관리

레퍼런스

이 기능의 역할

설정

빠른 시작

병렬 실행

모델 예측 평가

옵션

리소스 조정

작동 방식

Container images

평가 flow

병렬 실행

정리

출력

보고서 형식

문제 해결

패치 적용 실패

테스트 timeout

이미지 가져오기 오류

참고

​이 기능의 역할

​설정

​빠른 시작

​병렬 실행

​모델 예측 평가

​옵션

​리소스 조정

​작동 방식

​Container images

​평가 flow

​병렬 실행

​정리

​출력

​보고서 형식

​문제 해결

​패치 적용 실패

​테스트 timeout

​이미지 가져오기 오류

​참고

이 기능의 역할

설정

빠른 시작

병렬 실행

모델 예측 평가

옵션

리소스 조정

작동 방식

Container images

평가 flow

병렬 실행

정리

출력

보고서 형식

문제 해결

패치 적용 실패

테스트 timeout

이미지 가져오기 오류

참고