> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Exécuter des évaluations dans des bacs à sable CoreWeave

> Choisissez un flux de travail de benchmark pour évaluer des patchs de code, des agents de développement et des modèles d’appel d’outils dans des bacs à sable.

Utilisez CoreWeave Sandboxes pour exécuter du code et lancer des tests de benchmark dans des environnements isolés. Un harness d’évaluation prépare les tâches, exécute l’agent ou applique les sorties soumises, vérifie les résultats et recueille les scores. Les bacs à sable fournissent les ressources de calcul et le système de fichiers nécessaires à ces opérations.

Choisissez un flux de travail selon que vous souhaitez noter des patchs, évaluer un agent de développement ou tester un modèle sur des flux de travail d’entreprise simulés.

<h2 id="choose-an-evaluation-workflow">
  Choisir un flux de travail d’évaluation
</h2>

| Guide | Point de départ | Flux de travail |
| - | - | - |
| [SWE-bench](/fr/products/sandboxes/client/guides/swebench) | Patchs générés par le modèle ou patchs de référence du dataset | Appliquez chaque patch au dépôt de sa tâche, exécutez les tests dans une sandbox et récupérez le rapport de notation. L’exemple prend en charge les évaluations simultanées. |
| [DeepSWE v1.1](/fr/products/sandboxes/evals/deepswe) | Prompts de tâche et un agent de développement configuré | Laissez l’agent modifier le code dans une sandbox de tâche, récupérez le patch qu’il a commité, puis notez-le dans une nouvelle sandbox de vérification. Commencez par une seule tâche, puis passez à deux. |
| [AutomationBench](/fr/products/sandboxes/evals/automationbench) | Tâches de flux de travail d’entreprise et un point de terminaison de modèle configuré | Exécutez des tâches applicatives simulées avec l’ordonnancement Harbor, puis vérifiez leurs résultats avec l’évaluateur du benchmark. Commencez par une seule tâche avant d’augmenter la simultanéité. |

Le guide SWE-bench évalue des patchs fournis : il ne les génère pas et n’appelle aucun modèle. Les guides DeepSWE et AutomationBench, eux, intègrent l’exécution de l’agent et les requêtes au modèle à l’évaluation.

<h2 id="separate-model-inference-from-evaluation-execution">
  Séparer l’inférence du modèle de l’exécution de l’évaluation
</h2>

Le fournisseur de modèles génère les réponses. Le harness d’agent s’appuie sur ces réponses pour sélectionner les commandes à exécuter. CoreWeave Sandboxes exécute les commandes, puis le vérificateur du benchmark détermine si le résultat satisfait la tâche.

La sélection de modèle et l’hébergement de l’inférence dépendent de votre harness. Les guides DeepSWE et AutomationBench utilisent Serverless Inference comme fournisseur d’exemple, mais celui-ci n’est pas requis pour exécuter des évaluations sur CoreWeave Sandboxes. La recette AutomationBench accepte un autre point de terminaison de modèle compatible avec OpenAI via les paramètres de son fichier `.env`. La recette DeepSWE comporte une configuration propre au fournisseur ; pour changer de fournisseur, il faut donc adapter sa connexion au modèle et son authentification.

L’endroit où s’exécute la boucle de l’agent dépend également de l’intégration. La recette DeepSWE l’exécute sur la machine qui lance l’évaluation, tandis que ses actions shell s’exécutent dans des bacs à sable distants. AutomationBench exécute Harbor en local et sa boucle d’agent dans le sandbox de chaque essai. Consultez [Agents](/fr/products/sandboxes/agents) pour découvrir les intégrations qui exécutent des processus d’agent dans un sandbox ou qui se connectent à un service d’agent managé.

<h2 id="run-a-sample-and-inspect-the-outcome">
  Exécuter un échantillon et examiner le résultat
</h2>

Suivez le guide sélectionné pour configurer les identifiants d’authentification, installer les dépendances requises et exécuter un petit échantillon avant d’augmenter la simultanéité ou le nombre de tâches. Conservez la version du benchmark, le modèle, la configuration de l’agent et les limites d’exécution avec les résultats afin de pouvoir identifier précisément ce qui a été évalué.

Analysez les erreurs d’infrastructure indépendamment des scores du benchmark. Un échec de démarrage d’une sandbox ne permet pas de savoir si un agent est capable de résoudre la tâche. Pour les évaluations terminées, examinez les sorties des tâches et le rapport de notation.

Une fois le run terminé, suivez les étapes de nettoyage décrites dans le guide. Pour les harness d’évaluation personnalisés, consultez [exécution de commandes](/fr/products/sandboxes/client/guides/execution), [opérations sur les fichiers](/fr/products/sandboxes/client/guides/file-operations) et [modèles de nettoyage](/fr/products/sandboxes/client/guides/cleanup-patterns).