Skip to main content
Weights & Biases Sweeps で使用する最適化エンジンを選択します。ランダム探索、グリッド探索、ベイズ探索を行う場合は、組み込みの Weights & Biases エンジンを使用します。Optuna または Ax の探索アルゴリズムやカスタマイズオプションを利用する場合は、それぞれのエンジンを使用します。 エンジン、スケジューラー、sweep エージェントは次のように連携します。 このページでは、独自の環境で実行するスケジューラー向けにエンジンを設定する方法を説明します。YAML の完全な例については、sweep スケジューラーのサンプルを参照してください。

エンジンを選択する

必要な探索手法とカスタマイズオプションに応じて、エンジンを選択します。 Optuna または Ax を使用すると、次のことができます。 Optuna では、条件付き探索空間を定義して、試行内でそれまでに選択した値に応じてパラメーターを選択することもできます。

依存関係をインストールする

Weights & Biases Python SDK のバージョン 0.31.0 以降を、使用するエンジンに応じた追加の依存関係とあわせてインストールします。インストールコマンドは、スケジューラーを実行する環境で実行してください。
Python 3.10 以降を使用してください。sweeps extra を指定して SDK をインストールすると、スケジューラーの環境に sweeps>=0.2.0 が含まれます。

最適化を設定する

エンジンの探索戦略、目的、探索空間を設定します。組み込みの Weights & Biases エンジンは sweep 設定を使用します。Optuna と Ax では、Optuna の study または Ax クライアントを設定する Python 関数を指定できます。

探索戦略を設定する

scheduler.engine を wandb、optuna、または ax に設定します。 Optuna と Ax では、カスタムのオプティマイザー関数は省略可能です。scheduler.engine を変更するだけでエンジンを切り替えられ、sweep 設定で定義した探索空間と目的 (metrics で定義した複数の目的を含む) をそのまま使用できます。 カスタムのオプティマイザー関数を使用するには、scheduler.source に Python のファイル名を、scheduler.optimizer に関数名を設定します。Optuna では、scheduler.search_space でカスタムの探索空間を定義することもできます。
組み込みの Weights & Biases エンジンは、sweep 設定で設定します。method を random、grid、bayes のいずれかに設定します。エンジンは method、metric、parameters に基づいて、sweep の各 run で使用する設定を選択します。たとえば、組み込みの Weights & Biases エンジンでベイズ探索を設定するには、次のようにします。
sweep.yaml
各検索メソッドの詳細については、検索メソッドを参照してください。
run 単位および sweep 単位の停止オプションについては、停止の設定を参照してください。

複数の目的を定義する

Optuna または Ax を使用する場合は、metrics (複数形) を使用して複数の目的を定義できます。 wandb sweep で sweep を作成すると、Weights & Biases は sweep 設定を保存します。スケジューラーは起動時にその設定を取得し、SweepInfo オブジェクトの一部としてカスタムオプティマイザー関数に渡します。 保存された sweep 設定にアクセスするには、sweep_info.config を使用します。
Weights & Biases の組み込みエンジンは、metric で定義する単一の目的のみをサポートしています。
複数の目的を使用する場合でも、カスタムオプティマイザー関数は必須ではありません。以下の例では、カスタムオプティマイザー関数を提供する場合の目的の設定方法を示します。
Optuna で多目的 sweep を行う場合は、各目的を metrics リストで定義します。wandb.sdk.sweeps.scheduler.optuna の sweep_directions() ヘルパーを使用すると、各目標を同じ順序のまま Optuna の study の direction に変換できます。たとえば、次の sweep は検証損失を最小化し、精度を最大化します。
sweep.yaml
次のデモスクリプトは、提案された learning_rate と batch_size の値を読み取り、2 つの合成目的値を計算して run にログします。最終的にログされた値は run の概要に表示され、スケジューラーはそこから値を取得できます。
train.py
optimizer.py ファイル内で Optuna の study を作成する際に、sweep_info.config に保存されている sweep 設定を sweep_directions() に渡します。
optimizer.py
これにより、validation_loss を最小化し、accuracy を最大化する study が作成されます。

条件付きの探索空間を定義する

scheduler.search_space をサポートしているのは Optuna エンジンのみです。
Optuna では、scheduler.search_space を使用して条件付きパラメーターを Python で定義できます。たとえば、モデルのタイプごとに異なるハイパーパラメーターを定義したり、前の段階での選択に基づいてパラメーターの数を変えたりできます。 scheduler.search_space には、scheduler.source で指定したファイル内の関数名を設定します。スケジューラーは Optuna の試行をその関数に渡し、関数が返す辞書を run 設定として使用します。
固定の探索空間を使用する場合は、sweep 設定で parameters を定義してください。
scheduler.search_space を設定すると、スケジューラーは top-level の parameters の定義を無視します。run に渡すパラメーターはすべて Python 関数内で定義してください。 たとえば、次のような sweep 設定があるとします。
sweep.yaml
各試行で、スケジューラーは define_search_space(trial) を呼び出し、返された辞書を run 設定として使用します。
search.py
すべての run は model と learning_rate を受け取ります。model="transformer" の run は、これらに加えて num_layers と num_heads も受け取ります。model="linear" の run は、代わりに regularization を受け取ります。

停止を設定する

停止は、個々の run と sweep 全体のどちらにも適用できます。run 単位の早期停止では、有用な結果が得られる見込みの低い run を終了します。sweep レベルの停止では、条件が満たされると、スケジューラーは新しい run を提案しなくなります。

個々の run を停止する

run の進捗を評価するには、トレーニング中に目的メトリクスの中間値をログします。run を停止するかどうかを判断する仕組みは、エンジンごとに異なります。
top-level の early_terminate キーは、組み込みの Weights & Biases エンジンにのみ適用されます。Optuna または Ax を使用する場合は、そのエンジン固有の早期停止の仕組みを設定してください。
中間結果に基づいて早期停止を行うハイパーパラメーター最適化には、Hyperband を使用します。early_terminate.type を hyperband に設定し、min_iter で反復処理の最小回数を指定します。たとえば、次の sweep 設定では、Hyperband を使用して早期停止を行い、反復処理の最小回数を 3 回に設定しています。
sweep.yaml
設定オプションについては、early_terminate を参照してください。

sweep を停止する

sweep レベルの停止では、スケジューラーが新しい run の提案を停止するタイミングを制御します。run_cap を使用すると、どのエンジンでも run 数の上限を固定値で設定できます。Optuna または Ax では、最適化の現在の状態を評価する停止関数を返すこともできます。
以下の例ではスケジューラーが探索戦略を制御するため、method: random は無視されます。ただし、Weights & Biases の sweep スキーマでは method の指定が必須です。
停止条件が満たされた時点で、キューに追加済みの run や実行中の run がすでに存在する場合があります。これらの run は、スケジューラーが新しい run の提案を停止した後も引き続き実行できます。
sweep レベルでの停止を有効にするには、scheduler.optimizer で指定する最適化関数が、Optuna の study と停止関数をタプルで返す必要があります。
結果を処理した後、スケジューラーは現在の study を停止関数に渡します。この関数は、sweep を停止する場合は True を、新しい run の提案を続ける場合は False を返します。たとえば、次の sweep 設定では、x を探索対象とし、sweep の run 数を 20 に制限したうえで、optimizer.py ファイルの make_study() を呼び出すよう Optuna スケジューラーに指示します。
sweep.yaml
この例では、停止関数が先に sweep を終了しなかった場合に備えて、run_cap がフォールバック用の上限として機能します。次に、Optuna の study と停止関数を定義します。make_study() はシード付きのランダムサンプラーを設定し、stop_after_three_completed_trials() と組み合わせた study を返します。
optimizer.py
停止関数は、正常に完了した試行のみをカウントします。3 回目の試行が完了すると True を返し、設定の提案を停止するようスケジューラーに指示します。失敗した試行、枝刈りされた試行、実行中の試行はカウントの対象外です。最後に、各 sweep run で評価する目的関数を定義します。トレーニングスクリプトは、提案された x の値を取得して損失を計算し、その損失を Weights & Biases に記録します。
train.py
各 run が終了すると、スケジューラーはその run で記録済みの損失を Optuna の study に渡します。3 回の試行が完了すると停止関数が True を返し、スケジューラーは新しい run の提案を停止します。すでにキューに追加されている run や実行中の run は、そのまま終了まで実行されます。

スケジューラーの再起動への対応

sweep スケジューラーは既存の sweep 上で動作するため、新しい sweep を作成しなくても、スケジューラーを停止して再起動できます。スケジューラーは起動するたびに sweep の既存の run データから最適化履歴を再構築し、最適化ループを再開します。保存済みのオプティマイザーのチェックポイントからエンジンをリストアすることはありません。 スケジューラーは起動または再起動時に、カスタムのオプティマイザー関数を呼び出して新しいエンジンインスタンスを作成します。この関数では、実行のたびに新しい Optuna study または Ax クライアントを返すようにしてください。別途保存したオプティマイザーのチェックポイントを読み込んだり、以前のスケジューラープロセスのエンジンインスタンスを再利用したりしないでください。 scheduler.source ファイルを使用する場合、スケジューラーは起動するたびにその時点のファイル内容を読み込みます。そのため、次回の起動までにファイルを更新して、バグを修正したり、カスタムの optimizer 関数や search_space 関数を変更したりできます。ただし、これらの変更は以降の提案に影響する可能性があります。最適化を再現する必要がある場合は、スケジューラーのセッションごとに、使用した source ファイルのバージョンを保存しておいてください。
最終更新日 2026年11月17日