평가 워크플로 선택
SWE-bench 가이드는 제공된 패치를 평가할 뿐, 패치를 생성하거나 모델을 호출하지는 않습니다. 반면 DeepSWE 및 AutomationBench 가이드에서는 에이전트 실행과 모델 요청이 평가 과정에 포함됩니다.
모델 추론과 평가 실행 분리하기
모델 공급자는 응답을 생성합니다. 에이전트 하니스는 이 응답을 바탕으로 실행할 명령어를 선택합니다. CoreWeave Sandboxes는 해당 명령어를 실행하고, 벤치마크 검증기는 그 결과가 작업 요구 사항을 충족하는지 확인합니다. 모델 선택과 추론 호스팅 방식은 사용하는 하니스에 따라 달라집니다. DeepSWE 및 AutomationBench 가이드에서는 Serverless Inference를 예시 공급자로 사용하지만, CoreWeave Sandboxes에서 평가를 실행할 때 Serverless Inference가 필수는 아닙니다. AutomationBench 레시피에서는.env 설정을 통해 다른 OpenAI 호환 모델 엔드포인트를 지정할 수 있습니다. DeepSWE 레시피에는 공급자별 설정이 포함되어 있으므로, 공급자를 변경하려면 모델 연결 및 인증 부분을 수정해야 합니다.
에이전트 루프가 실행되는 위치도 인테그레이션에 따라 다릅니다. DeepSWE 레시피는 평가를 시작한 머신에서 에이전트 루프를 실행하고, 셸 작업은 원격 샌드박스에서 실행합니다. AutomationBench는 Harbor를 로컬에서 실행하고, 에이전트 루프는 각 시도 샌드박스 내부에서 실행합니다. 샌드박스 내부에서 에이전트 프로세스를 실행하거나 관리형 에이전트 서비스를 연결하는 인테그레이션에 대해서는 에이전트를 참조하세요.