実験を作成する - CoreWeave Docs

W&B Python SDK を使用すると、機械学習の実験をトラッキングできます。結果はインタラクティブなダッシュボードで確認できるほか、W&B Public API を使ってデータを Python にエクスポートし、プログラムから利用することもできます。このガイドでは、W&B の構成要素を使用して W&B の実験を作成する方法を説明します。

W&B の実験を作成する方法

W&B の実験は、次の 4 つのステップで作成します。

W&B run を初期化する
ハイパーパラメーターの辞書を取得する
トレーニングループ内でメトリクスをログする
アーティファクトを W&B にログする

W&B run を初期化する

wandb.init() を使用して W&B run を作成します。次のスニペットは、“cat-classification” という名前の W&B project に run を作成し、この run を識別しやすいように “My first experiment” という説明を付けます。また、この run が将来の論文発表を見据えたベースライン実験であることがわかるように、“baseline” と “paper1” というタグも付けています。

import wandb

with wandb.init(
    project="cat-classification",
    notes="My first experiment",
    tags=["baseline", "paper1"],
) as run:
    ...

wandb.init() は Run オブジェクトを返します。

注: wandb.init() を呼び出した時点で対象の project がすでに存在する場合、run はその既存の project に追加されます。たとえば、“cat-classification” という project がすでにある場合、その project は削除されずにそのまま残り、新しい run がその project に追加されます。

ハイパーパラメーターの辞書を取得する

学習率やモデルのタイプなどのハイパーパラメーターを辞書として保存します。設定に取得したモデル設定は、後で結果を整理したりクエリしたりする際に役立ちます。

with wandb.init(
    ...,
    config={"epochs": 100, "learning_rate": 0.001, "batch_size": 128},
) as run:
    ...

実験の設定方法の詳細については、実験を設定するを参照してください。

トレーニングループ内でメトリクスをログする

run.log() を呼び出して、各トレーニングステップの精度や損失などのメトリクスをログします。

model, dataloader = get_model(), get_data()

for epoch in range(run.config["epochs"]):
    for batch in dataloader:
        loss, accuracy = model.training_step()
        run.log({"accuracy": accuracy, "loss": loss})

W&B でログできるさまざまなデータタイプの詳細については、オブジェクトとメディアをログするを参照してください。

W&B にアーティファクトをログする

必要に応じて、W&B のアーティファクトをログします。アーティファクトを使用すると、データセットやモデルのバージョン管理を簡単に行えます。

# 任意のファイルだけでなく、ディレクトリも保存できます。この例では、
# モデルに ONNX ファイルを出力する save() メソッドがあるものとします。
model.save("path_to_model.onnx")
run.log_artifact("path_to_model.onnx", name="trained-model", type="model")

詳しくは、Artifacts のドキュメント、または Registry でのモデルのバージョン管理に関するドキュメントを参照してください。

まとめ

これまでのコードスニペットをすべて組み合わせた完全なスクリプトを以下に示します。

import wandb

with wandb.init(
    project="cat-classification",
    notes="",
    tags=["baseline", "paper1"],
    # run のハイパーパラメーターを記録します。
    config={"epochs": 100, "learning_rate": 0.001, "batch_size": 128},
) as run:
    # モデルとデータを設定します。
    model, dataloader = get_model(), get_data()

    # メトリクスをログしながらトレーニングを実行し、モデル性能を可視化します。
    for epoch in range(run.config["epochs"]):
        for batch in dataloader:
            loss, accuracy = model.training_step()
            run.log({"accuracy": accuracy, "loss": loss})

    # トレーニング済みモデルをアーティファクトとしてアップロードします。
    model.save("path_to_model.onnx")
    run.log_artifact("path_to_model.onnx", name="trained-model", type="model")

次のステップ: 実験を可視化する

project の Workspace を使用すると、機械学習モデルの結果を整理して可視化できます。パラレル座標プロットやパラメーター重要度分析のほか、さまざまなチャートタイプのインタラクティブなチャートを作成できます。

実験や個々の run を表示する方法の詳細については、実験結果を表示するを参照してください。

ベストプラクティス

実験を作成する際は、以下の推奨ガイドラインを参考にしてください。

コンテキストマネージャーで run を管理する: with ステートメント内で wandb.init() を使用すると、コードの完了時または例外の送出時に run が自動的に終了します。
- Jupyter ノートブックでは、run オブジェクトを自分で管理したほうが便利な場合があります。その場合は、finish() を呼び出して run を完了としてマークします。
  # ノートブックのセル内: run = wandb.init() # 別のセル内: run.finish()
設定: ハイパーパラメーター、モデルのアーキテクチャ、データセットの情報など、モデルの再現に必要な値をトラッキングします。詳細については、W&B App で run の Overview セクションにある設定を表示するを参照してください。
Project: project を使用すると、実験を一か所にまとめて整理できます。project では、結果の可視化、run の比較、アーティファクトの表示とダウンロード、オートメーションの作成などを行えます。
メモ: baseline model や tuned hyperparameters など、run の目的を説明するメモを追加します。メモは後から W&B App の run 概要で編集できます。
ジョブタイプ: run にジョブタイプを追加すると、train、test、inference などのタスク別に run を整理したりフィルターしたりできます。
タグ: run にタグを追加すると、ログされたメトリクスやアーティファクトからはわかりにくい特徴や属性を run にラベルとして付けられます。

以下の例は、これらのベストプラクティスに従って W&B の run を初期化する方法を示しています。

import wandb

config = {
    "learning_rate": 0.01,
    "momentum": 0.2,
    "architecture": "CNN",
    "dataset_id": "cats-0192",
}

with wandb.init(
    project="detect-cats",
    notes="tweak baseline",
    tags=["baseline", "paper1"],
    config=config,
) as run:
    ...

使用可能なパラメーターの詳細については、Python SDK リファレンスガイドの wandb.init() を参照してください。

​W&B の実験を作成する方法

​W&B run を初期化する

​ハイパーパラメーターの辞書を取得する

​トレーニングループ内でメトリクスをログする

​W&B にアーティファクトをログする

​まとめ

​次のステップ: 実験を可視化する

​ベストプラクティス

W&B の実験を作成する方法

W&B run を初期化する

ハイパーパラメーターの辞書を取得する

トレーニングループ内でメトリクスをログする

W&B にアーティファクトをログする

まとめ

次のステップ: 実験を可視化する

ベストプラクティス