Tutoriel : définir, initialiser et exécuter un sweep

Ce tutoriel explique comment définir, initialiser et exécuter un sweep afin d’automatiser la recherche d’hyperparamètres et de trouver la configuration qui produit le meilleur modèle. Il s’adresse aux utilisateurs qui savent déjà journaliser des runs dans W&B et qui souhaitent passer à l’ajustement d’hyperparamètres à grande échelle. Ce tutoriel comporte quatre grandes étapes :

Configurer votre code d’entraînement
Définir l’espace de recherche avec une configuration de sweep
Initialiser le sweep
Démarrer l’agent de sweep

Pour commencer, copiez-collez le code suivant dans un Jupyter Notebook ou un script Python. Les sections suivantes détaillent chaque partie de cet exemple.

# Importer la bibliothèque Python W&B et se connecter à W&B
import wandb

# 1 : Définir la fonction objectif (ou d’entraînement)
def objective(config):
    score = config.x**3 + config.y
    return score

def main():
    with wandb.init(project="my-first-sweep") as run:
        score = objective(run.config)
        run.log({"score": score})

# 2 : Définir l’espace de recherche
sweep_configuration = {
    "method": "random",
    "metric": {"goal": "minimize", "name": "score"},
    "parameters": {
        "x": {"max": 0.1, "min": 0.01},
        "y": {"values": [1, 3, 7]},
    },
}

# 3 : Lancer le sweep
sweep_id = wandb.sweep(sweep=sweep_configuration, project="my-first-sweep")

wandb.agent(sweep_id, function=main, count=10)

Configurer votre code d’entraînement

L’agent de sweep appelle votre fonction d’entraînement avec chaque combinaison de valeurs d’hyperparamètres à essayer. La première étape consiste donc à écrire une fonction qui accepte ces valeurs et renvoie une métrique à W&B. Définissez une fonction d’entraînement qui récupère les valeurs d’hyperparamètres depuis wandb.Run.config, puis les utilise pour entraîner un modèle et renvoyer des métriques. Vous pouvez également indiquer le nom du projet dans lequel stocker la sortie du run (paramètre project de wandb.init()). Si vous ne spécifiez aucun projet, W&B place le run dans un projet « Uncategorized ».

Le sweep et le run doivent appartenir au même projet. Le nom fourni lors de l’initialisation de W&B doit donc correspondre au nom du projet indiqué lors de l’initialisation du sweep.

# 1 : Définir la fonction objectif/d’entraînement
def objective(config):
    score = config.x**3 + config.y
    return score


def main():
    with wandb.init(project="my-first-sweep") as run:
        score = objective(run.config)
        run.log({"score": score})

Définir l’espace de recherche avec une configuration de sweep

Une fois la fonction d’entraînement en place, l’étape suivante consiste à indiquer à W&B quels hyperparamètres faire varier et comment explorer leurs valeurs. Spécifiez dans un dictionnaire les hyperparamètres à faire varier au cours du sweep. Pour connaître les options de configuration, consultez Définir la configuration de sweep. L’exemple suivant présente une configuration de sweep qui utilise une recherche aléatoire ('method':'random'). Le sweep sélectionne aléatoirement un ensemble de valeurs parmi celles listées dans la configuration pour les paramètres x et y. W&B minimise la métrique spécifiée dans la clé metric lorsque "goal": "minimize" lui est associé. Ici, W&B cherche à minimiser la métrique score ("name": "score").

# 2 : Définir l’espace de recherche
sweep_configuration = {
    "method": "random",
    "metric": {"goal": "minimize", "name": "score"},
    "parameters": {
        "x": {"max": 0.1, "min": 0.01},
        "y": {"values": [1, 3, 7]},
    },
}

Initialiser le sweep

L’initialisation du sweep enregistre votre espace de recherche auprès de W&B et renvoie un identifiant que l’agent utilise pour demander des combinaisons d’hyperparamètres. W&B utilise un Sweep Controller pour gérer les sweeps dans le cloud (standard) ou en local (local), sur une ou plusieurs machines. Pour plus d’informations sur les Sweep Controllers, consultez Exécuter localement les algorithmes de recherche et d’arrêt. L’initialisation d’un sweep renvoie un numéro d’identification du sweep :

sweep_id = wandb.sweep(sweep=sweep_configuration, project="my-first-sweep")

Pour plus d’informations, voir Initialiser des sweeps.

Lancer le sweep

Une fois le sweep enregistré, lancez un agent pour exécuter les runs et explorer l’espace de recherche. Pour lancer un sweep, utilisez l’appel d’API wandb.agent().

wandb.agent(sweep_id, function=main, count=10)

Une fois démarré, l’agent demande des combinaisons d’hyperparamètres à W&B, appelle votre fonction d’entraînement pour chacune d’elles et journalise les métriques obtenues dans votre projet.

MultiprocessingSi vous utilisez le package multiprocessing de la bibliothèque standard Python ou le package pytorch.multiprocessing de PyTorch, vous devez encapsuler vos appels wandb.agent() et wandb.sweep() dans un bloc if __name__ == '__main__':. Par exemple :

if __name__ == '__main__':
    wandb.agent(sweep_id="[SWEEP-ID]", function="[FUNCTION]", count="[COUNT]")

Cette convention garantit que le code ne s’exécute que lorsque le script est lancé directement, et non lorsqu’il est importé comme module dans un processus worker.Pour en savoir plus sur le multiprocessing, consultez la documentation de multiprocessing dans la bibliothèque standard Python ou la documentation de multiprocessing dans PyTorch. Pour en savoir plus sur la convention if __name__ == '__main__':, consultez le guide de Real Python sur __main__.

Facultatif : visualiser les résultats

Une fois le sweep lancé, vous pouvez explorer dans la W&B App l’influence des différentes combinaisons d’hyperparamètres sur votre métrique. Ouvrez votre projet pour suivre vos résultats en direct dans le tableau de bord de la W&B App. En quelques clics, créez des graphiques interactifs tels que des graphiques en coordonnées parallèles, des analyses d’importance des paramètres et d’autres types de graphiques.

Pour plus d’informations, voir Visualiser les résultats d’un sweep. Pour voir un exemple de tableau de bord, consultez ce projet Sweeps d’exemple.

Facultatif : arrêter l’agent

Dans le terminal, appuyez sur Ctrl+C pour arrêter le run actuel. Appuyez une seconde fois sur Ctrl+C pour mettre fin à l’agent.

​Configurer votre code d’entraînement

​Définir l’espace de recherche avec une configuration de sweep

​Initialiser le sweep

​Lancer le sweep

​Facultatif : visualiser les résultats

​Facultatif : arrêter l’agent

Configurer votre code d’entraînement

Définir l’espace de recherche avec une configuration de sweep

Initialiser le sweep

Lancer le sweep

Facultatif : visualiser les résultats

Facultatif : arrêter l’agent