チュートリアル: project から sweep ジョブを作成する

このチュートリアルでは、既存の W&B プロジェクトから sweep ジョブを作成する方法を説明します。ベースラインとなる project の作成、ハイパーパラメーター sweep の設定、トレーニング ジョブを並列で実行するエージェントの起動までを順に説明します。 Fashion MNIST データセットを使用して、画像を分類する PyTorch の畳み込みニューラルネットワークをトレーニングします。必要なコードとデータセットは W&B examples リポジトリ (PyTorch CNN Fashion) に用意されています。 結果は W&B ダッシュボード で確認できます。

​

project を作成する

まず、サンプルモデルを少なくとも 1 回トレーニングして、ベースラインとなる project を作成します。このベースラインは、後のステップで sweep を設定する際の基準になります。W&B examples GitHub リポジトリから PyTorch MNIST データセットのサンプルモデルをダウンロードし、モデルをトレーニングします。トレーニングスクリプトは examples/pytorch/pytorch-cnn-fashion ディレクトリにあります。 サンプルモデルをダウンロードしてトレーニングするには、次の手順を実行します。

1. リポジトリをクローンします。
   git clone https://github.com/wandb/examples.git
   
2. サンプルのディレクトリに移動します。
   cd examples/pytorch/pytorch-cnn-fashion
   
3. トレーニングスクリプトを手動で実行します。
   python train.py
   
4. オプション: W&B アプリのダッシュボードでサンプルを確認します。サンプルの project ページを表示する

この最初の run が完了すると、sweep のベースとなる project が W&B に作成されます。

​

sweep を作成する

ベースラインとなる project を用意したら、その run を対象とした sweep を設定できます。project ページで、プロジェクトのサイドバーにある Sweep タブを開き、Create Sweep を選択します。 自動生成された設定には、完了済みの run に基づいて、sweep で探索する値の候補が提示されます。設定を編集し、試したいハイパーパラメーターの範囲を指定してください。sweep を開始すると、W&B がホストする sweep サーバー上で新しいプロセスが起動します。この一元管理されたサービスが、エージェント (トレーニング ジョブを実行するマシン) を統括します。

​

エージェントを起動する

sweep を設定したら、1 つ以上のエージェントを起動して run を実行します。複数のマシンで最大 20 個のエージェントを並列に起動すると、sweep ジョブをより短時間で完了できます。各エージェントは、次に使用するパラメーターのセットを出力します。 これで sweep が実行中になりました。sweep は各エージェントのトレーニング ジョブを調整し、結果を W&B に報告します。次の画像は、サンプルの sweep ジョブが実行されている様子をダッシュボードで示したものです。

​

既存の run を使って新しい sweep をシードする

以前の結果を出発点として再利用するには、過去にログした既存の run を使って新しい sweep を開始します。

1. project の表を開きます。
2. run の行のチェックボックスをクリックして、run を選択します。
3. ドロップダウンを選択して、新しい sweep を作成します。

これで、sweep がサーバー上に設定されました。1 つ以上のエージェントを起動して、run を開始してください。