概要

​

自動的にログされるデータ

• システムメトリクス: CPU と GPU 使用率、ネットワークなど。GPU の場合、これらは nvidia-smi で取得されます。
• Command Line: stdout と stderr が取得され、Run page の logs タブに表示されます。

• Git commit: 最新の git commit を取得し、Run page の Overview タブで確認できます。また、未コミットの変更がある場合は diff.patch ファイルも表示されます。
• Dependencies: requirements.txt ファイルがアップロードされ、Run page の files タブに表示されます。また、run のために wandb ディレクトリに保存したファイルも表示されます。

​

W&B の特定の API 呼び出しでは、どのようなデータがログされますか？

• Datasets: 画像やその他のデータセットのサンプルを W&B にストリーミングするには、それらを明示的にログする必要があります。
• Plots: wandb.plot() を wandb.Run.log() とともに使用してチャートをトラッキングします。詳細については Log Plots を参照してください。
• Tables: wandb.Table を使用してデータをログすると、W&B で視覚化したりクエリしたりできます。詳細については Log Tables を参照してください。
• PyTorch の勾配: wandb.Run.watch(model) を追加すると、重みの勾配をヒストグラムとして UI に表示できます。
• 設定情報: ハイパーパラメーター、データセットへのリンク、使用しているアーキテクチャ名などを設定パラメーターとしてログします。wandb.init(config=your_config_dictionary) のように渡します。
• メトリクス: wandb.Run.log() を使用してモデルのメトリクスを確認します。トレーニングループ内で精度や損失などのメトリクスをログすると、UI にリアルタイムで更新されるグラフが表示されます。

​

メトリクス命名の制約

• 使用可能な文字: 英字 (A-Z、a-z)、数字 (0-9)、アンダースコア (_)
• 先頭文字: 名の先頭は英字またはアンダースコアである必要があります
• パターン: メトリクス名は /^[_a-zA-Z][_a-zA-Z0-9]*$/ に一致する必要があります

with wandb.init() as run:
  run.log({"accuracy": 0.9, "val_loss": 0.1, "epoch_5": 5})
  run.log({"modelAccuracy": 0.95, "learning_rate": 0.001})

with wandb.init() as run:
  run.log({"acc,val": 0.9})  # カンマを含む
  run.log({"loss-train": 0.1})  # ハイフンを含む
  run.log({"test acc": 0.95})  # スペースを含む
  run.log({"5_fold_cv": 0.8})  # 数値で始まる

​

一般的なワークフロー

1. 最高精度を比較する: run 間でメトリクスの最良値を比較するには、そのメトリクスのサマリー値を設定します。デフォルトでは、各キーについて最後にログした値がサマリーに設定されます。これは UI の表で役立ちます。表ではサマリー メトリクスに基づいて run を並べ替えたりフィルターしたりできるため、最終的な精度ではなく 最高 精度に基づいて、表や棒グラフで run を比較しやすくなります。例: wandb.run.summary["best_accuracy"] = best_accuracy
2. 1 つのチャートで複数のメトリクスを表示する: 1 回の呼び出しで複数のメトリクスをログします。例:
   with wandb.init() as run:
     run.log({"acc": 0.9, "loss": 0.1})
   
   これで、UI で両方のメトリクスをプロットできます。
3. x 軸をカスタマイズする: 同じログ呼び出しにカスタム x 軸を追加すると、W&B ダッシュボードで別の軸を基準にメトリクスを可視化できます。例:
   with wandb.init() as run:
     run.log({'acc': 0.9, 'epoch': 3, 'batch': 117})
   
   特定のメトリクスのデフォルトの x 軸を設定するには、Run.define_metric() を使用します。
4. リッチメディアとチャートをログする: wandb.Run.log() は、画像や動画などのメディア から 表 や チャート まで、さまざまなデータタイプのログをサポートしています。

​

ベストプラクティスとヒント