Choisir un flux de travail d’évaluation
Le guide SWE-bench évalue des patchs fournis : il ne les génère pas et n’appelle aucun modèle. Les guides DeepSWE et AutomationBench, eux, intègrent l’exécution de l’agent et les requêtes au modèle à l’évaluation.
Séparer l’inférence du modèle de l’exécution de l’évaluation
Le fournisseur de modèles génère les réponses. Le harness d’agent s’appuie sur ces réponses pour sélectionner les commandes à exécuter. CoreWeave Sandboxes exécute les commandes, puis le vérificateur du benchmark détermine si le résultat satisfait la tâche. La sélection de modèle et l’hébergement de l’inférence dépendent de votre harness. Les guides DeepSWE et AutomationBench utilisent Serverless Inference comme fournisseur d’exemple, mais celui-ci n’est pas requis pour exécuter des évaluations sur CoreWeave Sandboxes. La recette AutomationBench accepte un autre point de terminaison de modèle compatible avec OpenAI via les paramètres de son fichier.env. La recette DeepSWE comporte une configuration propre au fournisseur ; pour changer de fournisseur, il faut donc adapter sa connexion au modèle et son authentification.
L’endroit où s’exécute la boucle de l’agent dépend également de l’intégration. La recette DeepSWE l’exécute sur la machine qui lance l’évaluation, tandis que ses actions shell s’exécutent dans des bacs à sable distants. AutomationBench exécute Harbor en local et sa boucle d’agent dans le sandbox de chaque essai. Consultez Agents pour découvrir les intégrations qui exécutent des processus d’agent dans un sandbox ou qui se connectent à un service d’agent managé.