W&B Launch で sweep を作成する

Colab で試す

このページでは、W&B Launch を使用してハイパーパラメーター調整ジョブ (sweep) を作成する方法について説明します。これにより、他の Launch job を実行しているのと同じインフラストラクチャー上で、ハイパーパラメーターの探索を自動化できます。Launch で Sweeps を使用すると、探索対象として指定したハイパーパラメーターとともに、sweep スケジューラーが launch キューにプッシュされます。sweep スケジューラーはエージェントに取得されると起動し、選択されたハイパーパラメーターを使用して、同じキューに sweep の run を投入します。この処理は、sweep が完了するか停止されるまで続きます。デフォルトの W&B Sweep スケジューリングエンジンを使用することも、独自のカスタムスケジューラーを実装することもできます。

標準の sweep スケジューラー: W&B Sweeps を制御するデフォルトの W&B Sweep スケジューリングエンジンを使用します。おなじみの bayes、grid、random メソッドを使用できます。
カスタム sweep スケジューラー: sweep スケジューラーをジョブとして実行するように設定します。この方法では、自由にカスタマイズできます。次のセクションでは、標準の sweep スケジューラーを拡張して、より多くの情報をログする例を紹介します。

このガイドは、W&B Launch の設定が完了していることを前提としています。W&B Launch をまだ設定していない場合は、Launch ドキュメントの how to get started セクションを参照してください。

Launch で Sweeps を初めて使用する場合は、basic メソッドを使用して sweep を作成することをお勧めします。標準の W&B スケジューリングエンジンでは要件を満たせない場合は、Launch で Sweeps 用のカスタムスケジューラーを使用してください。

W&B 標準スケジューラーで sweep を作成する

このセクションでは、標準スケジューリングエンジンを使用して Launch で W&B Sweeps を作成する方法について説明します。sweep は、W&B アプリでインタラクティブに作成することも、W&B CLI でプログラムから作成することもできます。スケジューラーのカスタマイズなど、Launch sweep の高度な設定を行う場合は CLI を使用してください。

W&B Launch で sweep を作成する前に、sweep の対象となるジョブを作成しておいてください。詳細については、ジョブを作成するページを参照してください。

W&B アプリ
CLI

W&B アプリを使用して、インタラクティブに sweep を作成します。

W&B アプリで W&B プロジェクトにアクセスします。
プロジェクトのサイドバーにある sweep アイコン (ほうきの画像) を選択します。
Create Sweep ボタンを選択します。
Configure Launch ボタンをクリックします。
Job ドロップダウンメニューから、sweep の作成元となるジョブの名前とバージョンを選択します。
Queue ドロップダウンメニューから、sweep を実行するキューを選択します。
Job Priority ドロップダウンから、Launch job の優先度を指定します。launch キューが優先度付けをサポートしていない場合、Launch job の優先度は「Medium」に設定されます。
オプション: run または sweep スケジューラーのオーバーライド引数を設定します。たとえば、スケジューラーのオーバーライドで num_workers を使用すると、スケジューラーが管理する同時実行 run の数を設定できます。
オプション: Destination Project ドロップダウンメニューから、sweep の保存先となる project を選択します。
Save をクリックします。
Launch Sweep を選択します。

W&B CLI を使用して、Launch で W&B Sweep をプログラムから作成します。

sweep 設定を作成します。
sweep 設定内で完全なジョブ名を指定します。
sweep エージェントを初期化します。

ステップ 1 と 3 は、通常 W&B Sweep を作成するときの手順と同じです。

たとえば、次のコードスニペットでは、job の値に 'wandb/jobs/Hello World 2:latest' を指定しています。

# launch-sweep-config.yaml

job: 'wandb/jobs/Hello World 2:latest'
description: sweep examples using launch jobs

method: bayes
metric:
  goal: minimize
  name: loss_metric
parameters:
  learning_rate:
    max: 0.02
    min: 0
    distribution: uniform
  epochs:
    max: 20
    min: 0
    distribution: int_uniform

# オプションのスケジューラーパラメーター:

# scheduler:
#   num_workers: 1  # 同時実行する sweep run の数
#   docker_image: [BASE-IMAGE-FOR-THE-SCHEDULER]
#   resource: [RESOURCE-TYPE-FOR-EXAMPLE-LOCAL-CONTAINER]
#   resource_args:  # run に渡されるリソース引数
#     env: 
#         - WANDB_API_KEY

# オプションの Launch パラメーター
# launch: 
#    registry: [REGISTRY-FOR-IMAGE-PULLING]

sweep 設定の作成方法については、sweep 設定を定義するページを参照してください。

sweep を初期化します。設定ファイルへのパス、ジョブキュー名、W&B entity、project 名を指定します。

wandb launch-sweep [PATH-TO-YAML-FILE] --queue [QUEUE-NAME] --entity [YOUR-ENTITY] --project [PROJECT-NAME]

W&B Sweeps の詳細については、ハイパーパラメーターをチューニングするの章を参照してください。

カスタム sweep スケジューラーを作成する

このセクションでは、標準のスケジューリングエンジンでは要件を満たせない場合に、カスタム sweep スケジューラーを作成する方法について説明します。カスタム sweep スケジューラーは、W&B スケジューラーとカスタムスケジューラーのどちらを使用しても作成できます。

スケジューラージョブを使用するには、wandb CLI のバージョン 0.15.4 以降が必要です。

W&B スケジューラー
カスタムスケジューラー
Optuna スケジューラー

W&B の sweep スケジューリングロジックをジョブとして使用して、Launch の sweep を作成します。

公開されている wandb/sweep-jobs project で W&B スケジューラージョブを確認するか、次のジョブ名を使用します: 'wandb/sweep-jobs/job-wandb-sweep-scheduler:latest'
次の例のように、このジョブ名を指す job キーを含む scheduler ブロックを追加した設定 YAML を作成します。
新しい設定を指定して wandb launch-sweep コマンドを実行します。

設定の例:

# launch-sweep-config.yaml  
description: Launch sweep config using a scheduler job
scheduler:
  job: wandb/sweep-jobs/job-wandb-sweep-scheduler:latest
  num_workers: 8  # sweep の run を 8 つまで同時に実行できます

# sweep の run で実行するトレーニング/チューニングジョブ
job: wandb/sweep-jobs/job-fashion-MNIST-train:latest
method: grid
parameters:
  learning_rate:
    min: 0.0001
    max: 0.1

カスタムスケジューラーを作成するには、scheduler-job を作成します。このガイドでは、WandbScheduler を変更して、より詳細にログするようにします。

wandb/launch-jobs リポジトリ (具体的には wandb/launch-jobs/jobs/sweep_schedulers) をクローンします。
wandb_scheduler.py を変更して、必要なログを追加します。例: 関数 _poll にログを追加します。この関数は、新しい sweep の run が開始される前に、ポーリングサイクルごとに 1 回 (間隔は設定可能) 呼び出されます。
変更したファイルを次のコマンドで実行し、ジョブを作成します: python wandb_scheduler.py --project [PROJECT] --entity [ENTITY] --name CustomWandbScheduler
作成されたジョブの名前を、UI または前のコマンドの出力で確認します。このジョブは、特に指定しない限りコードアーティファクトのジョブです。
スケジューラーに新しいジョブを指定した sweep 設定を作成します。

...
scheduler:
  job: '[ENTITY]/[PROJECT]/job-CustomWandbScheduler:latest'
...

Optuna は、さまざまなアルゴリズムを使用して、特定のモデルに最適なハイパーパラメーターを検索するハイパーパラメーター最適化フレームワークです (W&B と同様) 。Optuna はサンプリングアルゴリズムに加えて、パフォーマンスの低い run を早期に終了させるためのさまざまな枝刈りアルゴリズムも提供しています。多数の run を実行する場合、時間とリソースを節約できるため便利です。これらのクラスは設定で変更できます。設定ファイルの scheduler.settings.pruner/sampler.args ブロックで、必要なパラメーターを渡してください。ジョブを使用して、Optuna のスケジューリングロジックを利用する Launch sweep を作成します。

まず、独自のジョブを作成するか、ビルド済みの Optuna スケジューラーイメージジョブを使用します。
- 独自のジョブの作成例については、wandb/launch-jobs リポジトリを参照してください。
- ビルド済みの Optuna イメージを使用するには、wandb/sweep-jobs project 内の job-optuna-sweep-scheduler にアクセスするか、ジョブ名 wandb/sweep-jobs/job-optuna-sweep-scheduler:latest を使用します。
ジョブを作成したら、sweep を作成できます。次の例のように、Optuna スケジューラージョブを指す job キーを含む scheduler ブロックを sweep 設定に記述します。

  # optuna_config_basic.yaml
  description: A basic Optuna scheduler
  job: wandb/sweep-jobs/job-fashion-MNIST-train:latest
  run_cap: 5
  metric:
    name: epoch/val_loss
    goal: minimize

  scheduler:
    job: wandb/sweep-jobs/job-optuna-sweep-scheduler:latest
    resource: local-container  # イメージをソースとするスケジューラージョブでは必須
    num_workers: 2

    # Optuna 固有の設定
    settings:
      pruner:
        type: PercentilePruner
        args:
          percentile: 25.0  # run の 75% を停止
          n_warmup_steps: 10  # 最初の x ステップでは枝刈りを無効化

  parameters:
    learning_rate:
      min: 0.0001
      max: 0.1

最後に、launch-sweep コマンドを使用して、アクティブなキューで sweep を起動します。

wandb launch-sweep [CONFIG-YAML] -q [QUEUE] -p [PROJECT] -e [ENTITY]

Optuna sweep スケジューラージョブの実装の詳細については、wandb/launch-jobs を参照してください。Optuna スケジューラーの活用例については、wandb/examples も参照してください。

カスタム sweep スケジューラージョブのサンプルは、wandb/launch-jobs リポジトリの jobs/sweep_schedulers にあります。このガイドでは、一般公開されている W&B Scheduler Job の使い方と、カスタム sweep スケジューラージョブの作成手順を説明します。

Launch で Sweeps を再開する

このセクションでは、以前に起動した sweep から launch-sweep を再開する方法について説明します。スケジューラーの設定を更新して探索を続けたい場合や、別のキューで探索を続けたい場合に便利です。ハイパーパラメーターとトレーニングジョブは変更できませんが、スケジューラー固有のパラメーターと、sweep のプッシュ先のキューは変更できます。

最初の sweep で latest のようなエイリアスが付いたトレーニングジョブを使用していた場合、前回の run 以降に最新のジョブバージョンが変わっていると、再開後の結果が異なる可能性があります。

以前に実行した launch sweep の sweep 名/ID を確認します。sweep ID は 8 文字の文字列 (例: hhd16935) で、W&B アプリの project 内で検索できます。
スケジューラーのパラメーターを変更する場合は、更新した設定ファイルを作成します。
ターミナルで次のコマンドを実行します。[ と ] で囲まれた部分は、ご自身の情報に置き換えてください。

wandb launch-sweep [OPTIONAL-CONFIG-YAML] --resume_id [SWEEP-ID] --queue [QUEUE-NAME]

Colab で試す

​W&B 標準スケジューラーで sweep を作成する

​カスタム sweep スケジューラーを作成する

​Launch で Sweeps を再開する

W&B 標準スケジューラーで sweep を作成する

カスタム sweep スケジューラーを作成する

Launch で Sweeps を再開する