Skip to main content
Choisissez un moteur d’optimisation pour Weights & Biases Sweeps. Utilisez le moteur intégré de Weights & Biases pour une recherche aléatoire, par grille ou bayésienne, ou bien Optuna ou Ax pour tirer parti de leurs algorithmes de recherche et de leurs options de personnalisation. Le moteur, l’ordonnanceur et les agents de sweep fonctionnent de concert : Cette page explique comment configurer un moteur pour un ordonnanceur exécuté dans votre propre environnement. Pour des exemples YAML complets, voir Exemples d’ordonnanceur de sweeps.

Choisir un moteur

Choisissez un moteur en fonction des méthodes de recherche et des options de personnalisation dont vous avez besoin : Utilisez Optuna ou Ax pour : Avec Optuna, vous pouvez également définir un espace de recherche conditionnel pour sélectionner des paramètres en fonction des choix précédents au sein d’un même essai.

Installer les dépendances

Installez la version 0.31.0 ou ultérieure du SDK Python de Weights & Biases avec les dépendances supplémentaires propres à votre moteur. Lancez la commande d’installation dans l’environnement où s’exécute l’ordonnanceur.
Utilisez Python 3.10 ou une version ultérieure. Installez le SDK avec l’extra sweeps afin d’inclure sweeps>=0.2.0 dans l’environnement de l’ordonnanceur :

Configurer l’optimisation

Configurez la stratégie de recherche, les objectifs et l’espace de recherche de votre moteur. Le moteur Weights & Biases intégré utilise la configuration de sweep. Pour Optuna et Ax, vous pouvez fournir une fonction Python qui configure une étude Optuna ou un client Ax.

Configurer la stratégie de recherche

Définissez scheduler.engine sur wandb, optuna ou ax. Pour Optuna et Ax, les fonctions d’optimiseur personnalisées sont facultatives. Vous pouvez changer de moteur en modifiant scheduler.engine, tout en utilisant l’espace de recherche et les objectifs définis dans la configuration de sweep, y compris les objectifs multiples définis avec metrics. Pour utiliser une fonction d’optimiseur personnalisée, définissez scheduler.source sur le nom de votre fichier Python et scheduler.optimizer sur le nom de la fonction. Pour Optuna, vous pouvez également définir un espace de recherche personnalisé avec scheduler.search_space.
Configurez le moteur intégré de Weights & Biases à l’aide d’une configuration de sweep.Définissez method sur random, grid ou bayes. Le moteur s’appuie sur method, metric et parameters pour sélectionner les configurations des runs du sweep.Par exemple, pour configurer une recherche bayésienne avec le moteur intégré de Weights & Biases :
sweep.yaml
Pour en savoir plus sur chaque méthode de recherche, consultez Méthodes de recherche.
Pour les options d’arrêt au niveau de chaque run et au niveau du sweep, consultez Configurer l’arrêt.

Définir plusieurs objectifs

Si vous utilisez Optuna ou Ax, vous pouvez utiliser metrics (au pluriel) pour définir plusieurs objectifs. Lorsque vous créez un sweep avec wandb sweep, Weights & Biases stocke la configuration de sweep. Au démarrage, l’ordonnanceur récupère cette configuration et la transmet à votre fonction d’optimiseur personnalisée dans un objet SweepInfo. Utilisez sweep_info.config pour accéder à la configuration de sweep stockée.
Le moteur intégré de Weights & Biases ne prend en charge qu’un seul objectif, défini avec metric.
Une fonction d’optimiseur personnalisée n’est pas nécessaire pour utiliser plusieurs objectifs. Les exemples suivants montrent comment configurer les objectifs si vous en fournissez une.
Pour un sweep multiobjectif avec Optuna, définissez chaque objectif dans la liste metrics. Utilisez la fonction utilitaire sweep_directions() de wandb.sdk.sweeps.scheduler.optuna pour convertir les objectifs en directions d’étude Optuna dans le même ordre.Par exemple, le sweep suivant minimise la perte de validation et maximise la précision :
sweep.yaml
Le script de démonstration suivant lit les valeurs suggérées pour learning_rate et batch_size, calcule deux valeurs d’objectif synthétiques et les journalise dans le run. Les valeurs finales enregistrées figurent dans la synthèse du run, où l’ordonnanceur peut les récupérer.
train.py
Dans votre fichier optimizer.py, transmettez la configuration de sweep stockée, issue de sweep_info.config, à sweep_directions() lors de la création de l’étude Optuna :
optimizer.py
L’étude ainsi obtenue minimise validation_loss et maximise accuracy.

Définir un espace de recherche conditionnel

Seul le moteur Optuna prend en charge scheduler.search_space.
Avec Optuna, utilisez scheduler.search_space pour définir des paramètres conditionnels en Python. Vous pouvez par exemple définir des hyperparamètres différents selon le type de modèle, ou faire varier le nombre de paramètres en fonction de choix antérieurs. Attribuez à scheduler.search_space le nom d’une fonction définie dans le fichier indiqué par scheduler.source. L’ordonnanceur transmet un essai Optuna à cette fonction et utilise le dictionnaire renvoyé comme configuration de run.
Pour un espace de recherche fixe, définissez parameters dans la configuration de sweep.
Lorsque vous définissez scheduler.search_space, l’ordonnanceur ignore les définitions parameters de premier niveau. Définissez donc dans la fonction Python chaque paramètre à transmettre au run. Supposons par exemple que vous disposiez de la configuration de sweep suivante :
sweep.yaml
Pour chaque essai, l’ordonnanceur appelle define_search_space(trial) et utilise le dictionnaire renvoyé comme configuration de run :
search.py
Chaque run reçoit model et learning_rate. Les runs pour lesquels model="transformer" reçoivent en outre num_layers et num_heads. Les runs pour lesquels model="linear" reçoivent plutôt regularization.

Configurer l’arrêt

L’arrêt peut porter sur un run individuel ou sur l’ensemble du sweep. L’arrêt anticipé au niveau du run interrompt les runs peu susceptibles de produire un résultat utile. L’arrêt au niveau du sweep empêche l’ordonnanceur de proposer de nouveaux runs dès qu’une condition est remplie.

Arrêter des runs individuels

Pour évaluer la progression d’un run, journalisez des valeurs intermédiaires de la métrique cible tout au long de l’entraînement. Chaque moteur dispose de son propre mécanisme pour décider s’il convient d’arrêter un run.
La clé de premier niveau early_terminate s’applique uniquement au moteur intégré de Weights & Biases. Pour Optuna ou Ax, configurez le mécanisme d’arrêt anticipé natif du moteur.
Utilisez Hyperband pour optimiser les hyperparamètres avec un arrêt anticipé basé sur les résultats intermédiaires.Définissez early_terminate.type sur hyperband et utilisez min_iter pour définir le nombre minimum d’itérations.Par exemple, la configuration de sweep suivante utilise Hyperband pour l’arrêt anticipé avec un minimum de 3 itérations :
sweep.yaml
Consultez early_terminate pour connaître les options de configuration disponibles.

Arrêter le sweep

L’arrêt au niveau du sweep détermine à quel moment l’ordonnanceur cesse de proposer de nouveaux runs. Utilisez run_cap pour définir un nombre maximum fixe de runs, quel que soit le moteur. Avec Optuna ou Ax, vous pouvez également renvoyer une fonction d’arrêt qui évalue l’état actuel de l’optimisation.
Dans les exemples suivants, c’est l’ordonnanceur qui contrôle la stratégie de recherche : il ignore donc method: random. Le schéma de sweep de Weights & Biases exige toutefois method.
Au moment où une condition d’arrêt est remplie, l’ordonnanceur peut avoir déjà des runs mis en file d’attente ou en cours d’exécution. Ces runs peuvent se poursuivre une fois que l’ordonnanceur a cessé d’en proposer de nouveaux.
Pour activer l’arrêt au niveau du sweep, la fonction d’optimisation que vous indiquez dans scheduler.optimizer doit renvoyer une étude Optuna et une fonction d’arrêt sous forme de tuple :
Après le traitement des résultats, l’ordonnanceur transmet l’étude en cours à la fonction d’arrêt. Cette fonction renvoie True pour arrêter le sweep, ou False pour continuer à proposer de nouveaux runs.Par exemple, la configuration de sweep suivante effectue une recherche sur x, limite le sweep à 20 runs et indique à l’ordonnanceur Optuna d’appeler make_study() depuis le fichier optimizer.py :
sweep.yaml
Dans cet exemple, run_cap sert de limite de secours si la fonction d’arrêt ne met pas fin au sweep avant.Définissez ensuite l’étude Optuna et la fonction d’arrêt. make_study() configure un échantillonneur aléatoire initialisé avec une graine et renvoie l’étude avec stop_after_three_completed_trials() :
optimizer.py
La fonction d’arrêt ne compte que les essais terminés avec succès. Elle renvoie True après le troisième essai terminé, ce qui indique à l’ordonnanceur de cesser de proposer des configurations. Les essais échoués, élagués ou en cours d’exécution ne sont pas comptabilisés.Enfin, définissez l’objectif évalué par chaque run du sweep. Le script d’entraînement récupère la valeur suggérée de x, calcule la perte correspondante et la journalise dans Weights & Biases :
train.py
À la fin de chaque run, l’ordonnanceur transmet la perte journalisée à l’étude Optuna. Dès que trois essais sont terminés, la fonction d’arrêt renvoie True et l’ordonnanceur cesse de proposer de nouveaux runs. Les runs déjà mis en file d’attente ou en cours d’exécution peuvent toutefois se terminer.

Gérer les redémarrages de l’ordonnanceur

L’ordonnanceur de sweeps agit sur un sweep existant : vous pouvez donc arrêter puis redémarrer l’ordonnanceur sans créer de nouveau sweep. À chaque démarrage, l’ordonnanceur reconstruit l’historique d’optimisation à partir des données des runs existants du sweep, puis reprend la boucle d’optimisation. Il ne restaure pas le moteur à partir d’un point de contrôle d’optimiseur enregistré. Lorsque l’ordonnanceur démarre ou redémarre, il appelle votre fonction d’optimiseur personnalisée pour créer une nouvelle instance du moteur. Renvoyez une nouvelle étude Optuna ou un nouveau client Ax à chaque exécution de la fonction. Ne chargez pas de point de contrôle d’optimiseur distinct et ne réutilisez pas d’instance de moteur issue d’un processus d’ordonnanceur précédent. Si vous utilisez un fichier scheduler.source, l’ordonnanceur charge son contenu actuel à chaque démarrage. Entre deux démarrages, vous pouvez mettre à jour le fichier pour corriger des bugs ou modifier la fonction personnalisée optimizer ou search_space. Ces modifications pouvant influer sur les suggestions ultérieures, conservez la version du fichier source utilisée pour chaque session de l’ordonnanceur si vous devez reproduire l’optimisation.
Dernière modification le 17 novembre 2026