サマリーメトリクスをログする

トレーニング中に時間とともに変化する値だけでなく、モデルや前処理ステップを要約する値をトラッキングすることも多くの場合重要です。こうした情報は run の summary 属性に保存します。run の summary 属性では、NumPy 配列、PyTorch テンソル、TensorFlow テンソルを扱えます。W&B は、NumPy 配列、PyTorch テンソル、TensorFlow テンソルをバイナリファイルとして永続化します。 wandb.Run.log() で最後にログされた値は、自動的に run のサマリー辞書に設定されます。サマリーメトリクスの辞書を変更すると、以前の値は失われます。サマリーメトリクスは、run の実行中にも、run の完了後にもログできます。

run の実行中
run の完了後

次のコードスニペットは、カスタムのサマリーメトリクスを W&B に渡す方法を示しています。

import wandb
import random

# run の記録先の project
project = "summary-demo"
entity = "<your-entity>" # W&B の entity 名に置き換えてください

# ハイパーパラメーターを含む辞書
config = {
    'epochs' : 10,
    'lr' : 0.01
}

with wandb.init(entity=entity, project=project, config=config) as run:
    offset = random.random() / 5
    print(f"lr: {config['lr']}")

    # トレーニング run をシミュレートする
    for epoch in range(2, config['epochs']):
        acc = 1 - 2**-config['epochs'] - random.random() / config['epochs'] - offset
        loss = 2**-config['epochs'] + random.random() / config['epochs'] + offset
        print(f"epoch={config['epochs']}, accuracy={acc}, loss={loss}")
        run.log({"accuracy": acc, "loss": loss})

        if epoch % 5 == 0:
            run.summary["best_accuracy"] = acc
            run.summary["best_loss"] = loss

トレーニングの完了後でも、既存の W&B run の summary 属性を更新できます。summary 属性を更新するには、W&B Public API を使用します。

api = wandb.Api()
run = api.run("entity/project/run_id")
run.summary["tensor"] = np.random.random(1000)
run.summary.update()

次の画像は、上記のコードスニペットをコピーして実行した場合のサマリーメトリクスの表示例です。

サマリーメトリクスをカスタマイズする

カスタムサマリーメトリクスを使用すると、トレーニング中で最も良いステップにおけるモデル性能を run.summary に取得できます。たとえば、最終値ではなく、精度の最大値や損失の最小値を取得したい場合に便利です。デフォルトでは、サマリーには履歴の最終値が使用されます。サマリーメトリクスをカスタマイズするには、define_metric に summary 引数を渡します。この引数には次の値を指定できます。

"min"
"max"
"mean"
"best"
"last"
"none"

"best" を使用できるのは、オプションの objective 引数を "minimize" または "maximize" に設定した場合のみです。次の例では、損失と精度の最小値と最大値をサマリーに追加します。

import wandb
import random

random.seed(1)

with wandb.init() as run:
    # 損失の最小値と最大値をサマリーに記録
    run.define_metric("loss", summary="min")
    run.define_metric("loss", summary="max")

    # 精度の最小値と最大値をサマリーに記録
    run.define_metric("acc", summary="min")
    run.define_metric("acc", summary="max")

    for i in range(10):
        log_dict = {
            "loss": random.uniform(0, 1 / (i + 1)),
            "acc": random.uniform(1 / (i + 1), 1),
        }
        run.log(log_dict)

サマリーメトリクスを表示する

run のサマリーには、W&B アプリ、実行中の run、既存の run、またはローカルファイルシステムからアクセスできます。

Run 概要
Run テーブル
run の実行中
既存の run
ローカルファイルシステム

W&B アプリにアクセスします。
プロジェクトのサイドバーから Workspace タブを選択します。
サマリー値をログした run をクリックします。Run page が開き、デフォルトで Overview タブが表示されます。
Summary セクションでサマリー値を確認します。

上記のコードスニペットをコピーして実行すると、Overview タブのサマリーメトリクスは次の画像のように表示されます。

実行中の run でサマリー値にアクセスするには、wandb.Run.summary を使用します。この属性は、キーと値のペアからなる辞書を返します。次の例では、run のサマリーにアクセスします。"<my-project>" はご自身のプロジェクト名に置き換えてください。

import wandb

with wandb.init(project="<my-project>", config=config) as run:
  run.log({"accuracy": 0.9, "loss": 0.1})

  print(run.summary)  # サマリー辞書を出力します

W&B Public API の wandb.Api.Run.summary プロパティを使用して、サマリーメトリクスにアクセスします。次のコード例は、W&B Public API と pandas を使用して、特定の run にログされたサマリー値を取得する方法の一例です。

import wandb
import pandas

entity = "<your-entity>"
project = "<your-project>"
run_name = "<your-run-name>" # サマリー値を持つ run の名前

all_runs = []

for run in api.runs(f"{entity}/{project_name}"):
    print("Fetching details for run: ", run.id, run.name)
    run_data = {
              "id": run.id,
              "name": run.name,
              "url": run.url,
              "state": run.state,
              "tags": run.tags,
              "config": run.config,
              "created_at": run.created_at,
              "system_metrics": run.system_metrics,
              "summary": run.summary,
              "project": run.project,
              "entity": run.entity,
              "user": run.user,
              "path": run.path,
              "notes": run.notes,
              "read_only": run.read_only,
              "history_keys": run.history_keys,
              "metadata": run.metadata,
          }
    all_runs.append(run_data)
  
# データフレームに変換
df = pd.DataFrame(all_runs)

# 列名 (run) に基づいて行を取得し、辞書に変換
df[df['name']==run_name].summary.reset_index(drop=True).to_dict()

project 内の複数の run のサマリーメトリクスにアクセスするには、api.runs() が返す run を反復処理します。

import wandb

api = wandb.Api()
runs = api.runs("<entity>/<project>")

for run in runs:
    print(f"Run name: {run.name}")
    print(f"Run ID: {run.id}")
    print(f"Run summary: {dict(run.summary)}")
    print("----------")

次の JSON オブジェクトは、run サマリーの例です。

Run name: clean-oath-11
Run ID: mt2dasoz
Run summary: {'_runtime': 3, '_step': 1000, '_timestamp': 1778541534.834642, '_wandb.runtime': 3, 'train/epoch_ndx': 1000, 'train/train_loss': 0.25498124957084656}

Run name: zesty-snowball-7
Run ID: qne08r7u
Run summary: {'_runtime': 3, '_step': 1000, '_timestamp': 1776714833.636171, '_wandb.runtime': 3, 'train/epoch_ndx': 1000, 'train/train_loss': 0.24914199113845825}

W&B は、run のサマリー値を run ディレクトリ内の wandb-summary.json ファイルに保存します。サマリー値をローカルで確認するには、wandb-summary.json ファイルを開きます。デフォルトでは、W&B は run ディレクトリを ./wandb/run-<timestamp>-<run_id> に保存します。

​サマリー メトリクスをカスタマイズする

​サマリー メトリクスを表示する

サマリーメトリクスをカスタマイズする

サマリーメトリクスを表示する