実験を設定する - CoreWeave Docs

トレーニングの設定を保存するには、run の config プロパティを使用します。保存できる設定には次のようなものがあります。

ハイパーパラメーター
データセット名やモデルのタイプなどの入力設定
実験におけるその他の独立変数

wandb.Run.config プロパティを使用すると、実験を簡単に分析でき、後から作業を再現することも容易になります。W&B アプリでは、設定値でグループ化したり、異なる W&B run の設定を比較したり、各トレーニング設定が出力に与える影響を評価したりできます。config プロパティは辞書のようなオブジェクトで、複数の辞書のようなオブジェクトを組み合わせて構成できます。

損失や精度などの出力メトリクスや従属変数を保存する場合は、wandb.Run.config ではなく wandb.Run.log() を使用してください。

実験の設定を行う

設定は通常、トレーニングスクリプトの冒頭で定義します。ただし、機械学習のワークフローはさまざまであるため、必ずしもトレーニングスクリプトの冒頭で設定を定義する必要はありません。設定の変数名には、ピリオド (.) ではなくダッシュ (-) またはアンダースコア (_) を使用してください。スクリプトで wandb.Run.config のルートより下の階層にあるキーにアクセスする場合は、属性アクセス構文 config.key.value ではなく、辞書アクセス構文 ["key"]["value"] を使用してください。以下のセクションでは、実験の設定を定義する際によくあるシナリオをいくつか紹介します。

初期化時に設定を指定する

スクリプトの冒頭で wandb.init() API を呼び出す際に辞書を渡します。この呼び出しにより、データを同期して W&B の run としてログするバックグラウンドプロセスが生成されます。次のコードスニペットでは、設定値を含む Python の辞書を定義し、W&B の run を初期化する際にその辞書を引数として渡す方法を示します。

import wandb

# 設定の辞書オブジェクトを定義します
config = {
    "hidden_layer_sizes": [32, 64],
    "kernel_sizes": [3],
    "activation": "ReLU",
    "pool_sizes": [2],
    "dropout": 0.5,
    "num_classes": 10,
}

# W&B の初期化時に設定の辞書を渡します
with wandb.init(project="config_example", config=config) as run:
    ...

ネストされた辞書を config として渡すと、W&B はドットを使って名前をフラット化します。辞書の値には、Python の他の辞書と同じ方法でアクセスできます。

# キーをインデックスとして指定して値にアクセス
hidden_layer_sizes = run.config["hidden_layer_sizes"]
kernel_sizes = run.config["kernel_sizes"]
activation = run.config["activation"]

# Python の辞書の get() メソッドを使用
hidden_layer_sizes = run.config.get("hidden_layer_sizes")
kernel_sizes = run.config.get("kernel_sizes")
activation = run.config.get("activation")

Developer Guide とサンプルでは、設定値を個別の変数にコピーしています。これは読みやすさを考慮したもので、このステップは省略できます。

argparse で設定を行う

argparse オブジェクトを使用して設定を行うことができます。argparse は argument parser (引数パーサー) の略で、Python 3.2 以降に含まれる標準ライブラリモジュールです。argparse を使用すると、コマンドライン引数の柔軟性と機能を最大限に活かしたスクリプトを簡単に記述できます。これは、コマンドラインから起動するスクリプトの結果をトラッキングする場合に便利です。次の Python スクリプトは、パーサーオブジェクトを定義し、それを使って実験の設定を定義・設定する方法を示しています。関数 train_one_epoch と evaluate_one_epoch は、このデモ用にトレーニングループをシミュレートするためのものです。

# config_experiment.py
import argparse
import random

import numpy as np
import wandb


# トレーニングと評価のデモコード
def train_one_epoch(epoch, lr, bs):
    acc = 0.25 + ((epoch / 30) + (random.random() / 10))
    loss = 0.2 + (1 - ((epoch - 1) / 10 + random.random() / 5))
    return acc, loss


def evaluate_one_epoch(epoch):
    acc = 0.1 + ((epoch / 20) + (random.random() / 10))
    loss = 0.25 + (1 - ((epoch - 1) / 10 + random.random() / 6))
    return acc, loss


def main(args):
    # W&B run を開始します
    with wandb.init(project="config_example", config=args) as run:
        # 設定の辞書から値を取得し、読みやすくするために
        # 変数に格納します
        lr = run.config["learning_rate"]
        bs = run.config["batch_size"]
        epochs = run.config["epochs"]

        # トレーニングをシミュレートし、値を W&B にログします
        for epoch in np.arange(1, epochs):
            train_acc, train_loss = train_one_epoch(epoch, lr, bs)
            val_acc, val_loss = evaluate_one_epoch(epoch)

            run.log(
                {
                    "epoch": epoch,
                    "train_acc": train_acc,
                    "train_loss": train_loss,
                    "val_acc": val_acc,
                    "val_loss": val_loss,
                }
            )


if __name__ == "__main__":
    parser = argparse.ArgumentParser(
        formatter_class=argparse.ArgumentDefaultsHelpFormatter
    )

    parser.add_argument("-b", "--batch_size", type=int, default=32, help="Batch size")
    parser.add_argument(
        "-e", "--epochs", type=int, default=50, help="Number of training epochs"
    )
    parser.add_argument(
        "-lr", "--learning_rate", type=float, default=0.001, help="Learning rate"
    )

    args = parser.parse_args()
    main(args)

スクリプト内の任意の場所で設定する

スクリプト内の任意の場所で、設定オブジェクトにパラメーターを追加できます。次のコードスニペットは、既存の設定オブジェクトに新しいキーと値のペアを追加する方法を示しています。

import wandb

# 設定の辞書オブジェクトを定義します
config = {
    "hidden_layer_sizes": [32, 64],
    "kernel_sizes": [3],
    "activation": "ReLU",
    "pool_sizes": [2],
    "dropout": 0.5,
    "num_classes": 10,
}

# W&B の初期化時に設定の辞書を渡します
with wandb.init(project="config_example", config=config) as run:
    # W&B の初期化後に設定を更新します
    run.config["epochs"] = 4
    run.config["batch_size"] = 32

複数の値を一度に追加することもできます。次のコードスニペットは、既存の設定オブジェクトで複数のキーと値のペアを更新する方法を示しています。

# 設定の辞書オブジェクトを定義
config = {
    "channels": 24,
    "lr": 1.0,
}

with wandb.init(project="config_example", config=config) as run:
    run.config.update(
        {
            "lr": 0.1,
            "channels": 16,
        },
        allow_val_change=True,
    )

既存のキーの値を更新する場合は、必ず allow_val_change=True を設定してください。このパラメーターを設定せずに既存のキーの値を更新しようとすると、W&B はエラーを返します。

run の終了後に設定する

完了した run の設定を更新するには、W&B Public API を使用します。 API には、entity、プロジェクト名、run の ID を指定する必要があります。これらの情報は、Run オブジェクトまたは W&B アプリで確認できます：

with wandb.init() as run:
    ...

# 現在のスクリプトまたはノートブックで run を開始した場合は、以下の値を
# Run オブジェクトから取得できます。W&B アプリの UI からコピーすることもできます。
username = run.entity
project = run.project
run_id = run.id

# api.run() が返すオブジェクトのタイプは wandb.init() とは異なる点に注意してください。
api = wandb.Api()
api_run = api.run(f"{username}/{project}/{run_id}")
api_run.config["bar"] = 32
api_run.update()

設定値をハイライトする

設定キーを、run の概要ページ上部にある References セクションにピン留めできます。 Python SDK で 1 つ以上の設定キーをピン留めするには、wandb.Run.pin_config_keys を使用します。たとえば、Grafana ダッシュボードでトレーニング run を監視している場合は、ダッシュボードの URL を設定に追加し、grafana_url キーをピン留めします。

config = {
    "hidden_layer_sizes": [32, 64],
    "kernel_sizes": [3],
    "activation": "ReLU",
    "pool_sizes": [2],
    "dropout": 0.5,
    "num_classes": 10,
    "grafana_url": "[Grafana dashboard](https://my-grafana-instance.com/)"
}

with wandb.init(config=config) as run:
    # 設定キー "grafana_url" を References セクションに追加します。
    run.pin_config_keys(["grafana_url"])

設定値を表示する

設定値には、W&B アプリ、run の実行中、または既存の run からアクセスできます。ローカルのファイルシステムから設定値にアクセスすることもできます。

W&B アプリ
run の実行中
既存の run
ローカルのファイルシステム

W&B アプリで run の設定を表示するには、次の手順を実行します。

W&B アプリで対象の project にアクセスします。
表示する run を選択します。
Overview タブを選択します。
Config セクションまでスクロールします。
オプション: View raw data をクリックすると、設定を JSON 形式で表示できます。

生の JSON 形式は、設定値、ログしたメトリクス、またはサマリー値をもとに折れ線グラフを作成・変換する式を記述する際に役立ちます。詳細については、式を参照してください。

run の実行中にその run の設定値にアクセスするには、wandb.Run.config プロパティを使用します。wandb.Run.config は、設定のキーと値のペアを含む辞書オブジェクトを返します。次の例は、run の実行中にその run の設定値にアクセスする方法を示しています。設定の辞書の値は、独自のハイパーパラメーター、モデルアーキテクチャ、データセット名、その他の設定に置き換えてください。"<my-project>" はご自身のプロジェクト名に置き換えてください。

import wandb

config = {
    "epochs": 100,
    "learning_rate": 0.001,
    "model_type": "CNN",
    "dataset_id": "cats-0192"
}

with wandb.init(project="<my-project>", config=config) as run:
  print(dict(run.config))

上記のコードを実行すると、ターミナルには次のような出力が表示されます。

{'_runtime': 0.0970615, '_step': 97, 'accuracy': 0.9746484067793967, 'loss': 0.025044765547545846, '_timestamp': 1785255343.65151}

以前にログした run の設定にアクセスするには、W&B Public API を使用します。entity、プロジェクト名、run ID を wandb.Api.run() に渡し、wandb.Api.Run.config プロパティで run の設定にアクセスします。次の例の "<entity>"、"<project>"、"<run_id>" を、ご自身の W&B entity、プロジェクト名、run ID に置き換えてください。

import wandb

api = wandb.Api()
run = api.run("<entity>/<project>/<run_id>")

print(run.name)
print(run.config)

project 内の複数の run の設定値にアクセスするには、wandb.Api.runs() で run を取得し、返された Run オブジェクトを反復処理します。

import wandb

api = wandb.Api()
runs = api.runs("<entity>/<project>")

for run in runs:
    print(f"Run name: {run.name}")
    print(f"Run ID: {run.id}")
    print(f"Run config: {run.config}")
    print("----------")

上記のコードを実行すると、ターミナルには次のような出力が表示されます。

Run name: clean-oath-11
Run ID: mt2dasoz
Run config: {'epochs': 1000, 'learning_rate': 0.1, 'model_type': 'Multivariate_neural_network_classifier'}
----------

Run name: zesty-snowball-7
Run ID: qne08r7u
Run config: {'epochs': 1000, 'learning_rate': 0.1, 'model_type': 'Multivariate_neural_network_classifier'}
----------

W&B は、run の設定値を run ディレクトリ内の config.yaml ファイルに保存します。設定値をローカルで確認するには、config.yaml ファイルを開きます。デフォルトでは、run ディレクトリは ./wandb/run-<timestamp>-<run_id> にあります。

ファイルベースの設定

run スクリプトと同じディレクトリに config-defaults.yaml という名前のファイルを配置すると、run はそのファイルに定義されたキーと値のペアを自動的に読み込み、wandb.Run.config に渡します。次のコードスニペットは、config-defaults.yaml ファイルの例です。

batch_size:
  desc: Size of each mini-batch
  value: 32

config-defaults.yaml から自動的に読み込まれるデフォルト値は、wandb.init() の config 引数で新しい値を指定することで上書きできます。例:

import wandb

# カスタム値を渡して config-defaults.yaml の値を上書きします
with wandb.init(config={"epochs": 200, "batch_size": 64}) as run:
    ...

config-defaults.yaml 以外の設定ファイルを読み込むには、--configs command-line 引数を使用して、ファイルのパスを指定します。

python train.py --configs other-config.yaml

設定内のネストされた辞書

run 設定にネストされた値を保存するには、ネストされた辞書を wandb.init() に渡します。次の例では、config 内にネストされた optimizer 辞書と training 辞書を定義しています。

config = {
    "optimizer": {
        "type": "adamw",
        "learning_rate": 0.0001,
        "weight_decay": 0.01,
    },
    "training": {
        "epochs": 20,
        "batch_size": 64,
    },
}

with wandb.init(project="project", config=config) as run:
    ...

各トップレベルキーには value フィールドが必要です。ネストされた辞書を value に割り当てます。

optimizer:
  value:
    type: adamw
    learning_rate: 0.0001
    weight_decay: 0.01

training:
  value:
    epochs: 20
    batch_size: 64

Python では、辞書のインデックス指定を使用してネストされた値にアクセスします。次の例では、run 設定内のネストされたオプティマイザー辞書から learning_rate の値を取得します：

with wandb.init(project="project", config=config) as run:
    run.config["optimizer"]["learning_rate"]

Public API のフィルターや折れ線グラフの式など、設定値をパスで参照する場面では、ドット記法を使用します。たとえば、Public API のフィルターでは config.optimizer.learning_rate、折れ線グラフの式では ${config:optimizer.learning_rate} と指定します。次の例では、ネストされた設定を持つ run を作成し、トレーニングのエポックごとに損失をログします。続いて、Public API を使用して学習率が 1e-4 の run を検索し、各 run の名前と学習率を出力します。

import random
import wandb

config = {
    "optimizer": {
        "type": "adamw",
        "learning_rate": 1e-4,
        "weight_decay": 0.01,
    },
    "training": {
        "epochs": 3,
        "batch_size": 64,
    },
}

with wandb.init(project="nested-config-example", config=config) as run:
    lr = run.config["optimizer"]["learning_rate"]

    for epoch in range(run.config["training"]["epochs"]):
        loss = 1.0 / (epoch + 1) + random.random() * 0.05
        run.log({"epoch": epoch, "train/loss": loss})

api = wandb.Api()
runs = api.runs(
    "wandb/nested-config-example",
    filters={"config.optimizer.learning_rate": 1e-4},
)

for run in runs:
    print(run.name, run.config["optimizer"]["learning_rate"])

実際の運用では、run の作成と、後でフィルターを使ってそれらをクエリする処理には、通常それぞれ別のスクリプトを使用します。

ファイルベースの設定のユースケース例

run のメタデータを記述した YAML ファイルと、Python スクリプト内で定義したハイパーパラメーターの辞書があるとします。この両方を、ネストされた config オブジェクトに保存できます。

hyperparameter_defaults = dict(
    dropout=0.5,
    batch_size=100,
    learning_rate=0.001,
)

config_dictionary = dict(
    yaml=my_yaml_file,
    params=hyperparameter_defaults,
)

with wandb.init(config=config_dictionary) as run:
    ...

TensorFlow v1 のフラグ

TensorFlow のフラグは、wandb.Run.config オブジェクトに直接渡せます。

with wandb.init() as run:
    run.config.epochs = 4

    flags = tf.app.flags
    flags.DEFINE_string("data_dir", "/tmp/data")
    flags.DEFINE_integer("batch_size", 128, "Batch size.")
    run.config.update(flags.FLAGS)  # TensorFlow のフラグを設定に追加

​実験の設定を行う

​初期化時に設定を指定する

​argparse で設定を行う

​スクリプト内の任意の場所で設定する

​run の終了後に設定する

​設定値をハイライトする

​設定値を表示する

​ファイルベースの設定

​設定内のネストされた辞書

​ファイルベースの設定のユースケース例

​TensorFlow v1 のフラグ

実験の設定を行う

初期化時に設定を指定する

argparse で設定を行う

スクリプト内の任意の場所で設定する

run の終了後に設定する

設定値をハイライトする

設定値を表示する

ファイルベースの設定

設定内のネストされた辞書

ファイルベースの設定のユースケース例

TensorFlow v1 のフラグ