Créer des sweeps avec W&B Launch

Essayer dans Colab

Cette page explique comment créer un job d’optimisation des hyperparamètres (sweeps) avec W&B Launch, afin d’automatiser l’exploration des hyperparamètres sur l’infrastructure qui exécute déjà vos autres jobs Launch. Avec les sweeps sur Launch, un planificateur de sweep est téléversé dans une file d’attente Launch avec les hyperparamètres à explorer. Le planificateur de sweep démarre dès que l’agent le prend en charge, puis lance des runs de sweep dans la même file d’attente avec les hyperparamètres choisis. Ce processus se poursuit jusqu’à ce que le sweep se termine ou soit arrêté. Vous pouvez utiliser le moteur de planification par défaut des sweeps W&B ou implémenter votre propre planificateur personnalisé :

Planificateur de sweep standard : utilisez le moteur de planification par défaut qui pilote W&B Sweeps. Les méthodes habituelles bayes, grid et random sont disponibles.
Planificateur de sweep personnalisé : configurez le planificateur de sweep pour qu’il s’exécute en tant que job. Cette option offre une personnalisation complète. La section suivante montre, à titre d’exemple, comment étendre le planificateur de sweep standard pour enrichir la journalisation.

Ce guide part du principe que W&B Launch est déjà configuré. Si ce n’est pas le cas, consultez la section premiers pas de la documentation de Launch.

Si vous utilisez les sweeps sur Launch pour la première fois, nous vous recommandons de créer un sweep sur Launch avec la méthode basic. Utilisez un planificateur personnalisé de sweeps sur Launch lorsque le moteur de planification standard de W&B ne répond pas à vos besoins.

Créer un sweep avec un planificateur standard W&B

Cette section explique comment créer des W&B Sweeps avec Launch à l’aide du moteur de planification standard. Vous pouvez créer un sweep de manière interactive dans la W&B App ou par programmation avec la CLI W&B. Pour les configurations avancées des sweeps Launch, notamment pour personnaliser le planificateur, utilisez la CLI.

Avant de créer un sweep avec W&B Launch, assurez-vous d’avoir d’abord créé le job sur lequel portera le sweep. Pour plus d’informations, consultez la page Créer un job.

W&B app
CLI

Créez un sweep de manière interactive dans la W&B App.

Accédez à votre projet W&B dans la W&B App.
Sélectionnez l’icône des sweeps (un balai) dans la barre latérale du projet.
Sélectionnez le bouton Create Sweep.
Cliquez sur le bouton Configure Launch.
Dans le menu déroulant Job, sélectionnez le nom de votre job et la version du job à partir de laquelle vous souhaitez créer le sweep.
Dans le menu déroulant Queue, sélectionnez la file d’attente dans laquelle exécuter le sweep.
Dans le menu déroulant Job Priority, indiquez la priorité de votre job Launch. Si la file d’attente Launch ne prend pas en charge la priorisation, la priorité du job Launch est définie sur « Medium ».
Facultatif : configurez des arguments de redéfinition pour le run ou le planificateur du sweep. Par exemple, dans les redéfinitions du planificateur, utilisez num_workers pour définir le nombre de runs simultanés gérés par le planificateur.
Facultatif : dans le menu déroulant Destination Project, sélectionnez le projet dans lequel enregistrer le sweep.
Cliquez sur Save.
Sélectionnez Launch Sweep.

Créez par programmation un sweep W&B avec Launch à l’aide de la CLI W&B.

Créez une configuration de sweep.
Indiquez le nom complet du job dans votre configuration de sweep.
Initialisez un agent de sweep.

Les étapes 1 et 3 sont identiques à celles que vous suivez habituellement pour créer un sweep W&B.

Par exemple, l’extrait de code suivant définit 'wandb/jobs/Hello World 2:latest' comme valeur de job :

# launch-sweep-config.yaml

job: 'wandb/jobs/Hello World 2:latest'
description: sweep examples using launch jobs

method: bayes
metric:
  goal: minimize
  name: loss_metric
parameters:
  learning_rate:
    max: 0.02
    min: 0
    distribution: uniform
  epochs:
    max: 20
    min: 0
    distribution: int_uniform

# Paramètres facultatifs du planificateur :

# scheduler:
#   num_workers: 1  # runs de sweep simultanés
#   docker_image: [BASE-IMAGE-FOR-THE-SCHEDULER]
#   resource: [RESOURCE-TYPE-FOR-EXAMPLE-LOCAL-CONTAINER]
#   resource_args:  # arguments de ressource transmis aux runs
#     env: 
#         - WANDB_API_KEY

# Paramètres Launch facultatifs
# launch: 
#    registry: [REGISTRY-FOR-IMAGE-PULLING]

Pour savoir comment créer une configuration de sweep, consultez la page Définir la configuration de sweep.

Initialisez un sweep. Indiquez le chemin de votre fichier de configuration, le nom de votre file d’attente de jobs, votre entity W&B et le nom du projet.

wandb launch-sweep [PATH-TO-YAML-FILE] --queue [QUEUE-NAME] --entity [YOUR-ENTITY] --project [PROJECT-NAME]

Pour plus d’informations sur W&B Sweeps, consultez le chapitre Optimiser les hyperparamètres.

Créer un planificateur de sweep personnalisé

Cette section explique comment créer un planificateur de sweep personnalisé lorsque le moteur de planification standard ne répond pas à vos besoins. Pour ce faire, vous pouvez utiliser soit le planificateur W&B, soit un planificateur personnalisé.

L’utilisation de jobs de planificateur nécessite la CLI wandb en version >= 0.15.4.

Ordonnanceur W&B
Ordonnanceur personnalisé
Ordonnanceur Optuna

Créez un sweep Launch qui utilise la logique de planification des sweeps de W&B en tant que job.

Identifiez le job du planificateur W&B dans le projet public wandb/sweep-jobs, ou utilisez le nom du job : 'wandb/sweep-jobs/job-wandb-sweep-scheduler:latest'.
Créez un fichier de configuration YAML comportant un bloc scheduler supplémentaire, avec une clé job qui pointe vers ce nom, comme dans l’exemple suivant.
Utilisez la commande wandb launch-sweep avec la nouvelle configuration.

Exemple de configuration :

# launch-sweep-config.yaml  
description: Launch sweep config using a scheduler job
scheduler:
  job: wandb/sweep-jobs/job-wandb-sweep-scheduler:latest
  num_workers: 8  # permet d’exécuter 8 runs du sweep en parallèle

# job d’entraînement/d’optimisation exécuté par les runs du sweep
job: wandb/sweep-jobs/job-fashion-MNIST-train:latest
method: grid
parameters:
  learning_rate:
    min: 0.0001
    max: 0.1

Pour créer des schedulers personnalisés, créez un scheduler-job. Dans ce guide, vous allez modifier le WandbScheduler afin d’obtenir une journalisation plus détaillée.

Clonez le dépôt wandb/launch-jobs (plus précisément : wandb/launch-jobs/jobs/sweep_schedulers)
Modifiez le fichier wandb_scheduler.py pour obtenir la journalisation supplémentaire souhaitée. Exemple : ajoutez de la journalisation à la fonction _poll. Celle-ci est appelée une fois par cycle d’interrogation (intervalle configurable), avant le lancement de nouveaux runs du sweep.
Exécutez le fichier modifié pour créer un job, avec la commande : python wandb_scheduler.py --project [PROJECT] --entity [ENTITY] --name CustomWandbScheduler
Identifiez le nom du job créé, soit dans l’interface utilisateur, soit dans la sortie de l’appel précédent. Il s’agit d’un job de type code-artifact (sauf indication contraire).
Créez une configuration de sweep dans laquelle le scheduler pointe vers votre nouveau job.

...
scheduler:
  job: '[ENTITY]/[PROJECT]/job-CustomWandbScheduler:latest'
...

Optuna est un framework d’optimisation des hyperparamètres qui utilise divers algorithmes pour trouver les meilleurs hyperparamètres pour un modèle donné (à l’instar de W&B). Outre les algorithmes d’échantillonnage, Optuna propose également divers algorithmes d’élagage qui vous permettent d’arrêter prématurément les runs peu performants. C’est particulièrement utile lorsque vous exécutez de nombreux runs, car vous économisez ainsi du temps et des ressources. Les classes sont configurables. Transmettez les paramètres attendus dans le bloc scheduler.settings.pruner/sampler.args du fichier de configuration.Créez un sweep Launch qui s’appuie sur la logique de planification d’Optuna à l’aide d’un job.

Commencez par créer votre propre job ou utilisez un job d’image de planificateur Optuna prédéfini.
- Consultez le dépôt wandb/launch-jobs pour trouver des exemples de création de job personnalisé.
- Pour utiliser une image Optuna prédéfinie, vous pouvez soit accéder à job-optuna-sweep-scheduler dans le projet wandb/sweep-jobs, soit utiliser le nom du job : wandb/sweep-jobs/job-optuna-sweep-scheduler:latest.
Une fois le job créé, vous pouvez créer un sweep. Construisez une configuration de sweep comprenant un bloc scheduler avec une clé job qui pointe vers le job de planificateur Optuna, comme dans l’exemple suivant.

  # optuna_config_basic.yaml
  description: A basic Optuna scheduler
  job: wandb/sweep-jobs/job-fashion-MNIST-train:latest
  run_cap: 5
  metric:
    name: epoch/val_loss
    goal: minimize

  scheduler:
    job: wandb/sweep-jobs/job-optuna-sweep-scheduler:latest
    resource: local-container  # requis pour les jobs de scheduler issus d’images
    num_workers: 2

    # paramètres propres à Optuna
    settings:
      pruner:
        type: PercentilePruner
        args:
          percentile: 25.0  # arrête 75 % des runs
          n_warmup_steps: 10  # élagage désactivé pendant les x premières étapes

  parameters:
    learning_rate:
      min: 0.0001
      max: 0.1

Enfin, lancez le sweep dans une file d’attente active à l’aide de la commande launch-sweep :

wandb launch-sweep [CONFIG-YAML] -q [QUEUE] -p [PROJECT] -e [ENTITY]

Pour consulter l’implémentation exacte du job de sweep scheduler Optuna, voir wandb/launch-jobs. Pour découvrir d’autres exemples de ce que permet le scheduler Optuna, consultez wandb/examples.

Des exemples de jobs de planificateur de sweep personnalisés sont disponibles dans le dépôt wandb/launch-jobs, sous jobs/sweep_schedulers. Ce guide explique comment utiliser le W&B Scheduler Job, disponible publiquement, et présente une méthode pour créer des jobs de planificateur de sweep personnalisés.

Reprendre des sweeps sur Launch

Cette section explique comment reprendre un launch-sweep à partir d’un sweep lancé précédemment. Cela est utile si vous souhaitez poursuivre l’exploration avec des paramètres de planificateur mis à jour ou sur une autre file d’attente. Vous ne pouvez pas modifier les hyperparamètres ni la tâche d’entraînement, mais vous pouvez modifier les paramètres propres au planificateur ainsi que la file d’attente vers laquelle il est téléversé.

Si le sweep initial utilisait une tâche d’entraînement avec un alias tel que latest, la reprise peut produire des résultats différents si la dernière version de la tâche a changé depuis le dernier run.

Identifiez le nom ou l’ID d’un launch sweep exécuté précédemment. L’ID du sweep est une chaîne de huit caractères (par exemple, hhd16935) que vous trouverez dans votre projet sur W&B App.
Si vous modifiez les paramètres du planificateur, créez un fichier de configuration mis à jour.
Dans votre terminal, exécutez la commande suivante. Remplacez le contenu entre [ et ] par vos propres informations :

wandb launch-sweep [OPTIONAL-CONFIG-YAML] --resume_id [SWEEP-ID] --queue [QUEUE-NAME]

Essayer dans Colab

​Créer un sweep avec un planificateur standard W&B

​Créer un planificateur de sweep personnalisé

​Reprendre des sweeps sur Launch

Créer un sweep avec un planificateur standard W&B

Créer un planificateur de sweep personnalisé

Reprendre des sweeps sur Launch