カスタム チャートの概要

• コード: サンプルの Colab ノートブックをお試しください。
• 動画: 解説動画をご覧ください。
• 例: Keras と Sklearn を使った簡単なデモ ノートブックをご覧ください。

​

仕組み

1. データをログする: スクリプトから 設定 とサマリーデータをログします。
2. チャートをカスタマイズする: GraphQL クエリを使って、ログしたデータを取り込みます。クエリの結果は、可視化文法である Vega で可視化します。
3. チャートをログする: スクリプトから wandb.plot_table() で独自のプリセットを呼び出します。

​

スクリプトからチャートをログする

​

組み込みプリセット

• 折れ線グラフ
• 散布図
• 棒グラフ
• ヒストグラム
• PR曲線
• ROC 曲線

wandb.plot.line()カスタム折れ線グラフをログします。折れ線グラフは、任意の x 軸と y 軸上にある、順序付けられて互いに接続されたポイント (x,y) のリストです。

with wandb.init() as run:
  data = [[x, y] for (x, y) in zip(x_values, y_values)]
  table = wandb.Table(data=data, columns=["x", "y"])
  run.log(
      {
          "my_custom_plot_id": wandb.plot.line(
              table, "x", "y", title="Custom Y vs X Line Plot"
          )
      }
  )

折れ線グラフは、任意の 2 つの次元で曲線をログします。2 つの値のリストを互いに対してプロットする場合、リスト内の値の数は完全に一致している必要があります (たとえば、各ポイントには x と y の両方が必要です)。

サンプルの report を参照するか、サンプルの Google Colab ノートブックを試してみてください。

wandb.plot.scatter()カスタム散布図をログします。散布図は、任意の 2 軸 x と y 上にプロットされたポイント (x, y) のリストです。

with wandb.init() as run:
  data = [[x, y] for (x, y) in zip(class_x_prediction_scores, class_y_prediction_scores)]
  table = wandb.Table(data=data, columns=["class_x", "class_y"])
  run.log({"my_custom_id": wandb.plot.scatter(table, "class_x", "class_y")})

これを使用すると、任意の 2 つの次元で散布図のポイントをログできます。2 つのリストの値を互いにプロットする場合は、各リストの値の数が完全に一致している必要があります (たとえば、各ポイントには x と y の両方が必要です)。

report の例を見るか、Google Colab のサンプルノートブックを試してみてください。

wandb.plot.bar()カスタム棒グラフ (ラベル付きの値のリストを棒で表したもの) をログします。

with wandb.init() as run:
  data = [[label, val] for (label, val) in zip(labels, values)]
  table = wandb.Table(data=data, columns=["label", "value"])
  run.log(
      {
          "my_bar_chart_id": wandb.plot.bar(
              table, "label", "value", title="Custom Bar Chart"
          )
      }
  )

これを使用すると、任意の棒グラフをログできます。なお、リスト内のラベルと値の数は完全に一致している必要があります (つまり、各データポイントにはラベルと値の両方が必要です) 。

report の例を参照するか、Google Colab のサンプルノートブックを試してみてください。

wandb.plot.histogram()カスタムヒストグラム (値のリストを出現回数または頻度に応じてビンに分類したもの) をログします。たとえば、予測の信頼度スコアのリスト (scores) があり、その分布を可視化したい場合は次のようにします。

with wandb.init() as run:
  data = [[s] for s in scores]
  table = wandb.Table(data=data, columns=["scores"])
  run.log({"my_histogram": wandb.plot.histogram(table, "scores", title=None)})

これを使用すると、任意のヒストグラムをログできます。data はリストのリストで、行と列からなる 2 次元配列を扱えるようになっています。

サンプルの report を参照するか、サンプルの Google Colab ノートブックを試してみてください。

wandb.plot.pr_curve()わずか 1 行のコードで適合率-再現率曲線を作成できます。

with wandb.init() as run:
  plot = wandb.plot.pr_curve(ground_truth, predictions, labels=None, classes_to_plot=None)

  run.log({"pr": plot})

コードから次のデータにアクセスできる場合は、いつでもこれをログできます。

• 一連のサンプルに対するモデルの予測スコア (predictions) 。
• それらのサンプルに対応する正解ラベル (ground_truth) 。
• labels (オプション) ：ラベルまたはクラス名のリスト (ラベルインデックス 0 が cat、1 が dog、2 が bird などを表す場合は labels=["cat", "dog", "bird"...]) 。
• classes_to_plot (オプション) ：プロットで可視化するラベルのサブセット (リスト形式) 。

report の例を見るか、Google Colab のサンプルノートブックを試すことができます。

wandb.plot.roc_curve()ROC 曲線を 1 行で作成できます。

with wandb.init() as run:
  # ground_truth は正解ラベルのリスト、predictions は予測スコアのリストです
  ground_truth = [0, 1, 0, 1, 0, 1]
  predictions = [0.1, 0.4, 0.35, 0.8, 0.7, 0.9]

  # ROC 曲線のプロットを作成します
  # labels はクラス名のリスト（オプション）、classes_to_plot はそのうち可視化するラベルのサブセット（オプション）です
  plot = wandb.plot.roc_curve(
      ground_truth, predictions, labels=None, classes_to_plot=None
  )

  run.log({"roc": plot})

コードから次の情報にアクセスできる場合は、いつでもこのチャートをログできます。

• 一連のサンプルに対するモデルの予測スコア (predictions)。
• それらのサンプルに対応する正解ラベル (ground_truth)。
• labels (オプション): ラベル名またはクラス名のリスト (ラベルインデックス 0 が cat、1 が dog、2 が bird などを表す場合は labels=["cat", "dog", "bird"...])。
• classes_to_plot (オプション): これらのラベルのうち、プロット上で可視化するサブセット (リスト形式で指定)。

サンプルの report を見るか、サンプルの Google Colab ノートブックを試してみてください。

​

カスタムプリセット

# プロットする列を持つ表を作成します
table = wandb.Table(data=data, columns=["step", "height"])

# 表の列をチャートのフィールドにマッピングします
fields = {"x": "step", "value": "height"}

# 表のデータを新しいカスタム チャート プリセットに反映します
# 自分で保存したチャート プリセットを使用する場合は、vega_spec_name を変更します
my_custom_chart = wandb.plot_table(
    vega_spec_name="carey/new_chart",
    data_table=table,
    fields=fields,
)

​

データをログする

• Config: 実験の初期設定 (独立変数) です。トレーニングの開始時に wandb.Run.config のキーとしてログした名前付きフィールドがすべて含まれます。例: wandb.Run.config.learning_rate = 0.0001
• Summary: トレーニング中にログされる単一の値 (結果または従属変数) です。例: wandb.Run.log({"val_acc" : 0.8})。トレーニング中に wandb.Run.log() で同じキーに複数回書き込んだ場合、summary にはそのキーの最終値が設定されます。
• History: ログされたスカラーの完全な時系列には、history フィールドを通じてクエリからアクセスできます。
• summaryTable: 複数の値のリストをログする必要がある場合は、wandb.Table() を使用してデータを保存し、カスタムパネルでクエリします。
• historyTable: 履歴データを確認する必要がある場合は、カスタム チャートのパネルで historyTable をクエリします。wandb.Table() を呼び出すか、カスタム チャートをログするたびに、その ステップ の履歴に新しい表が作成されます。

​

カスタム表をログする

with wandb.init() as run:
  # データをカスタム表としてログする
  my_custom_data = [[x1, y1, z1], [x2, y2, z2]]
  run.log(
      {"custom_data_table": wandb.Table(data=my_custom_data, columns=["x", "y", "z"])}
  )

​

チャートをカスタマイズする

​

GraphQL クエリを作成する

• Config は run 設定 の値 (ハイパーパラメーターやその他の設定) を取得します。
• Summary は summary の値を取得します。デフォルトでは、wandb.Run.log() でログしたキーの summary には、そのキーに最後に書き込まれた値が保持されます。別の集計方法を使用するには、"min"、"max"、"mean"、"best"、"none" のいずれかを指定して wandb.Run.define_metric(..., summary=...) を呼び出します。値を直接設定するには、wandb.Run.summary["key"] = value のように代入します。
• History は run の履歴からスカラーの時系列 (たとえば、各 ステップ の loss や accuracy) を取得します。最終的な値だけでなく曲線全体が必要な場合は、history を使用します。
• summaryTable は run の summary から wandb.Table を読み込みます。対象の表が run 上に単一のスナップショットとして保存されている場合 (たとえば、最後に一度だけログする混同行列) に使用します。
• historyTable は run の履歴から wandb.Table を読み込みます。wandb.Run.log() で表をログするたびに、その表を含む ステップ が run の履歴に追加されます。表が時間とともに変化する場合や、カスタム チャートエディターでステップセレクターを有効にしたい場合は、historyTable を使用します (カスタム チャートでステップスライダーを表示するにはどうすればよいですか? を参照してください)。

• 各 ステップ でログする表の列をプロットする場合 (たとえば PR 曲線): historyTable を追加し、tableKey にログしたキー (たとえば pr_curve) を指定してから、Chart fields で表の列をマッピングします。カスタム チャートのチュートリアル を参照してください。
• summary に保存されている表の列をプロットする場合 (たとえば composite ヒストグラム 用のクラススコア): summaryTable を追加し、tableKey にそのキー (チュートリアルでは class_scores) を指定します。Bonus: composite ヒストグラム を参照してください。
• トレーニングステップごとのスカラーのメトリクスをプロットする場合: history からメトリクスを追加します。summary からのみ追加すると、チャートには run ごとに 1 つの値しか表示されません。

​

カスタム可視化

​

Vega を編集する

​

チャートのプリセットを保存する

​

Reports とガイド

• The W&B Machine Learning Visualization IDE
• Attention ベースの NLP モデルを可視化する
• Attention が勾配の流れに与える影響を可視化する
• 任意の曲線をログする

​

一般的なユースケース

• エラーバー付きの棒グラフをカスタマイズする
• 独自の x-y 座標が必要なモデルの検証メトリクス (適合率-再現率曲線など) を表示する
• 2 つの異なるモデルまたは実験のデータ分布を、ヒストグラムとして重ねて表示する
• トレーニング中の複数のポイントで取得したスナップショットを使って、メトリクスの推移を表示する
• W&B にはまだない独自の可視化を作成し、他のユーザーと共有する