概要 - CoreWeave Docs

run は、W&B がログする計算の単一の単位です。W&B Run は、project 全体を構成する最小単位の要素と考えることができます。つまり、各 run は、モデルをトレーニングして結果をログする処理やハイパーパラメーター sweep など、特定の計算の記録です。 run を初期化してログする一般的なユースケースには、次のようなものがあります。

モデルをトレーニングし、精度や損失などのメトリクスを記録する
ハイパーパラメーター調整を行い、新しい実験を実行する
別のモデルを使用して新しい機械学習の実験を行う
データセットやモデルを W&B Artifacts としてトラッキングし、保存する
チームの他のメンバーが W&B Artifacts として使用したデータセットやモデルをダウンロードして使用する

W&B run を初期化するには、W&B Python SDK の wandb.init() メソッドを呼び出します。これにより新しい run が開始され、wandb.Run オブジェクトが返されます。このオブジェクトを使用して、メトリクス、アーティファクト、その他の情報を run にログできます。run の初期化の詳細については、run を初期化するを参照してください。各 run オブジェクトには、run ID と呼ばれる一意の ID があります。一意の ID を自分で指定することも、W&B にランダムに生成させることもできます。また、各 run オブジェクトには、人が読みやすい (一意ではない) run 名もあります。run 名は自分で指定することも、W&B にランダムに生成させることもできます。run は初期化後にリネームできます。 W&B は run を project にログします。project は、run の初期化時に wandb.init(project="") で指定します。指定した project が存在しない場合、W&B は新しい project を作成します。存在する場合は、指定された project に run をログします。

プロジェクト名を指定しない場合、W&B は run を Uncategorized という project に保存します。

wandb.init() は、ID、名前、設定、状態など、run のプロパティを含む wandb.Run オブジェクトを返します。この run オブジェクトの wandb.Run.log()、wandb.Run.log_code()、wandb.Run.use_artifact() などのメソッドを使用して、メトリクス、アーティファクト、その他の情報を run にログできます。各 run には、run の現在のステータスを表す状態があります。取り得る run の状態の一覧については、Run states を参照してください。 W&B アプリ上の run のプロジェクトの Workspace で、run とそのプロパティを表示できます。また、wandb.Api.Run オブジェクトを使用して、プログラムから run のプロパティにアクセスすることもできます。例として、W&B run を初期化していくつかのメトリクスをログする、次のコードスニペットを見てみましょう。

実際に試す場合は、以下のコードスニペットの entity 変数に W&B の entity を渡してください。entity は、W&B のユーザー名またはチーム名です。entity は W&B アプリの Workspace の URL で確認できます。たとえば、Workspace の URL が https://wandb.ai/nico/awesome-project の場合、entity は nico です。

import wandb

entity = "nico"  # ご自身の W&B entity に置き換えてください
project = "awesome-project"

with wandb.init(entity=entity, project=project) as run:
    run.log({"accuracy": 0.9, "loss": 0.1})

1 行目で W&B Python SDK をインポートします。2 行目で、entity nico 配下の project awesome-project で run を初期化します。3 行目で、モデルの精度と損失をその run にログします。ターミナルには、W&B から次の出力が返されます。

wandb: Syncing run earnest-sunset-1
wandb: ⭐️ View project at https://wandb.ai/nico/awesome-project
wandb: 🚀 View run at https://wandb.ai/nico/awesome-project/runs/1jx1ud12
wandb:                                                                                
wandb: 
wandb: Run history:
wandb: accuracy ▁
wandb:     loss ▁
wandb: 
wandb: Run summary:
wandb: accuracy 0.9
wandb:     loss 0.5
wandb: 
wandb: 🚀 View run earnest-sunset-1 at: https://wandb.ai/nico/awesome-project/runs/1jx1ud12
wandb: ⭐️ View project at: https://wandb.ai/nico/awesome-project
wandb: Synced 6 W&B file(s), 0 media file(s), 0 artifact file(s) and 0 other file(s)
wandb: Find logs at: ./wandb/run-20241105_111006-1jx1ud12/logs

W&B はターミナルの出力に 2 つの URL を返します。1 つ目の URL は該当する run の Workspace へ、2 つ目の URL は project ページへのリンクです。

ある 1 時点だけでメトリクスをログしても、あまり役に立たないかもしれません。識別モデルをトレーニングする場合は、一定の間隔でメトリクスをログするのがより現実的です。たとえば、次のコードスニペットを見てみましょう。

import wandb
import random

config = {
    "epochs": 10,
    "learning_rate": 0.01,
}

with wandb.init(project="awesome-project", config=config) as run:
    print(f"lr: {config['learning_rate']}")
      
    # トレーニング run をシミュレート
    for epoch in range(config['epochs']):
      offset = random.random() / 5
      acc = 1 - 2**-epoch - random.random() / (epoch + 1) - offset
      loss = 2**-epoch + random.random() / (epoch + 1) + offset
      print(f"epoch={epoch}, accuracy={acc}, loss={loss}")
      run.log({"accuracy": acc, "loss": loss})

トレーニングスクリプトは wandb.Run.log() を 10 回呼び出します。スクリプトが wandb.Run.log() を呼び出すたびに、W&B はそのエポックの精度と損失をログします。ターミナルには、次のような出力が表示されます。

wandb: Syncing run jolly-haze-4
wandb: ⭐️ View project at https://wandb.ai/nico/awesome-project
wandb: 🚀 View run at https://wandb.ai/nico/awesome-project/runs/pdo5110r
lr: 0.01
epoch=0, accuracy=-0.10070974957523078, loss=1.985328507123956
epoch=1, accuracy=0.2884687745057535, loss=0.7374362314407752
epoch=2, accuracy=0.7347387967382066, loss=0.4402409835486663
epoch=3, accuracy=0.7667969248039795, loss=0.26176963846423457
epoch=4, accuracy=0.7446848791003173, loss=0.24808611724405083
epoch=5, accuracy=0.8035095836268268, loss=0.16169791827329466
epoch=6, accuracy=0.861349032371624, loss=0.03432578493587426
epoch=7, accuracy=0.8794926436276016, loss=0.10331872172219471
epoch=8, accuracy=0.9424839917077272, loss=0.07767793473500445
epoch=9, accuracy=0.9584880427028566, loss=0.10531971149250456
wandb: 🚀 View run jolly-haze-4 at: https://wandb.ai/nico/awesome-project/runs/pdo5110r
wandb: Find logs at: wandb/run-20241105_111816-pdo5110r/logs

W&B は、シミュレートされたトレーニングループを jolly-haze-4 という名前の単一の run として取得します。これは、スクリプトが wandb.init() メソッドを 1 回しか呼び出していないためです。前の出力で W&B が表示した URL をコピーし、ブラウザーに貼り付けます。この URL を開くと、W&B アプリ UI の run の Workspace に移動します。たとえば、次の画像は run jolly-haze-4 の Workspace です。

run のサマリー

run の summary 属性を使用すると、モデル、トレーニングプロセス、前処理ステップなどを要約する値を保存できます。時間とともに変化するメトリクスとは異なり、サマリー値は通常、最終的な結果や集計結果を表します。サマリー値は、run の実行中にログすることも、run の終了後に更新することもできます。W&B Python SDK を使用してプログラムからアクセスすることも、W&B アプリで確認することもできます。詳細については、サマリーメトリクスをログするを参照してください。

run 設定

run 設定には、ハイパーパラメーター、モデルのアーキテクチャ、データセット名など、実験の入力値や設定を保存します。設定値を使用すると、run の結果を得たときの条件をトラッキングできます。設定値は、run の実行中にログすることも、run の終了後に更新することもできます。W&B Python SDK を使用してプログラムからアクセスすることも、W&B アプリで確認することもできます。詳細については、実験を設定するを参照してください。

​run のサマリー

​run 設定

run のサマリー

run 設定