run のピン留めと比較

• ピン留めした run: Workspace 内の任意の project の run をピン留めすると、run 一覧の上部に常に表示されます。1 つの Workspace では、他の project の run も含めて最大 20 個の run をピン留めできます。
• ベースライン run: 比較の基準としてベースライン run を指定します。ベースライン run は、Workspace 内および run 一覧の上部に常に表示されます。run テーブルでは、サマリー メトリクスの差分により、各 run とベースラインの比較結果が示されます。折れ線グラフでは、比較しやすいようにベースラインが他と区別できるスタイルで表示されます。

• 新しい実験を本番モデルと比較する。
• project をまたいで run を比較する。
• 実験のベースラインを作成し、新しい run のパフォーマンスをベースラインと比較して評価する。
• 実験中に複数の候補モデルをトラッキングする。
• 新しい run がこれまでの最良の結果を上回るかどうかを評価する。

​

run をピン留めする

1. ワークスペースにアクセスします。
2. run selector または run テーブルで、ピン留めする run を検索します。
3. action () メニューをクリックし、Pin run を選択します。

​

project をまたいで run を比較する

1. project の Workspace にアクセスします。
2. Workspace の run selector または run テーブルの上部にある Select runs from another project ボタン (角の丸い小さな四角形に斜めの矢印が付いたアイコン) をクリックします。

3. モーダルの Source project ドロップダウンから project を選択します。
4. ソース project の run を検索し、比較したい run を見つけます。run 名または一意の ID で検索できます。
5. 比較したい run の横にあるチェックボックスをそれぞれオンにし、Pin runs をクリックします。

​

ベースライン run の管理と比較

​

ベースライン run を設定する

1. workspace にアクセスします。
2. run selector または run テーブルで、ベースラインとして使用する run を検索します。
3. action () メニューをクリックし、Set as baseline を選択します。

​

ベースライン run を変更する

1. Workspace にアクセスします。
2. run selector または run テーブルで、新しいベースラインとして使用する run を検索します。
3. action () メニューをクリックし、Replace baseline を選択します。
   メニュー項目が無効になっている場合は、ピン留めの空き枠が 1 つ以上あることを確認してください。必要に応じて、ピン留めした run の横にある円形のピンアイコンをクリックし、ピン留めを解除してください。
4. 新しい run がベースラインになります。以前のベースラインはすぐに見つけられるよう、自動的にピン留めされます。必要に応じて、ピンアイコンをクリックしてピン留めを解除することもできます。

​

ベースラインの指定を解除する

1. Workspace にアクセスします。
2. run selector または run テーブルで、現在のベースライン run を検索します。
3. action () メニューをクリックし、Remove baseline を選択します。
   メニュー項目が無効になっている場合は、ピン留めの枠に 1 つ以上空きがあることを確認してください。必要に応じて、ピン留めした run の横にある円形のピンアイコンをクリックし、ピン留めを解除します。
4. 以前のベースラインは、見つけやすいように自動的にピン留めされます。必要に応じて、そのピンアイコンをクリックしてピン留めを解除できます。

​

run をベースラインと比較する

• グラフ上にカーソルを合わせると、ベースライン run やピン留めした run を含む、表示中のすべての run の値がツールチップに表示されます。
  
• ベースライン run の凡例ラベルにカーソルを合わせると、その線が太い破線で強調表示されます。表示中の他の run の線は彩度が下がって表示されます。
  
• 別の run の凡例ラベルにカーソルを合わせると、その run の線が強調表示され、太い破線で表示されるベースラインと比較できます。表示中の他の run の線は彩度が下がって表示されます。
  

​

サマリー メトリクスの差分

• 他の run がベースラインを上回る (方向性の観点でより優れている) 場合、差分は薄い赤の背景に濃い赤の文字で表示されます。
• 他の run がベースラインを下回る (方向性の観点でより優れている) 場合、差分は薄いティールの背景に濃いティールの文字で表示されます。

1. run テーブルで、対象のメトリクスの列見出しにカーソルを合わせます。
2. 表示される action () メニューをクリックします。
3. Metric directionality を Higher values are best または Lower values are best に設定します。

​

Workspace でサマリー メトリクスの差分を非表示にする

1. Workspace で Settings をクリックします。
2. 表示されたドロワーで Runs をクリックします。
3. Baseline タブで、Show value deltas in the runs table をオフに切り替えます。
4. Workspace settings のドロワーを閉じます。

​

ユースケース

• 本番モデルをトラッキングする: 新しいモデルがデプロイ前に品質基準を満たしていることを確認します。
  1. 本番モデルをベースラインに設定します。
  2. すべての実験をデプロイ済みのモデルと比較し、本番モデルを上回る候補を特定します。
• ハイパーパラメーターの実験を比較する: ハイパーパラメーターの sweep や手動の実験を、現時点で最良の設定と比較して評価します。
  1. 現時点で最良の設定をベースラインに設定します。
  2. 有望な候補が見つかったら、その都度ピン留めします。
  3. 折れ線グラフを使用して、run をベースラインと視覚的に比較します。
  4. より良い設定が見つかったら、その都度ベースラインを更新します。

​

例: ハイパーパラメーター調整の実験で得られた run を比較する

import wandb
import random
import math

def train_model(learning_rate, batch_size, run_name, tags=None):
    """Simulate training a model with given hyperparameters."""
    config = {
        "learning_rate": learning_rate,
        "batch_size": batch_size,
        "optimizer": "adam",
        "architecture": "resnet50"
    }
    
    with wandb.init(
      # 自分のチーム名とプロジェクト名に置き換えてください
        project="hyperparameter-tuning",
        entity="your-team-name", # 自分のチーム名に置き換えてください
        name=run_name,
        config=config,
        tags=tags or []
    ) as run:
        # トレーニングループをシミュレートします
        for epoch in range(50):
            # シミュレーション上のメトリクス
            accuracy = 0.6 + 0.3 * (1 - math.exp(-learning_rate * epoch / 10))
            loss = 1.0 * math.exp(-learning_rate * epoch / 10)
            
            run.log({
                "epoch": epoch,
                "accuracy": accuracy,
                "loss": loss
            })

# 標準設定でベースライン run を作成します
train_model(
    learning_rate=0.001,
    batch_size=64,
    run_name="baseline-config",
    tags=["baseline", "production"]
)

# 学習率を変えて実験します
train_model(
    learning_rate=0.003,
    batch_size=64,
    run_name="lr-experiment-0.003",
    tags=["experiment"]
)

train_model(
    learning_rate=0.0001,
    batch_size=64,
    run_name="lr-experiment-0.0001",
    tags=["experiment"]
)

1. W&B の project にアクセスします。
2. Runs タブを選択します。
3. フィルターを使用して baseline タグが付いた run を絞り込み、その run をベースライン run として設定します。
4. baseline-config をピン留めして、run テーブルの上部に表示されるようにします。
5. 実験の run をベースラインと比較します。
   • accuracy 列の横にある縦三点リーダーメニューを選択し、Metric directionality を Higher values are best に設定します。これで、各 run の精度の差分が run テーブルに表示されます。
   • loss 列の横にある縦三点リーダーメニューを選択し、Metric directionality を Lower values are best に設定します。これで、各 run の損失の差分が run テーブルに表示されます。
   
6. 折れ線グラフを使用して、run をベースラインと視覚的に比較します。ベースライン run は太い破線で表示されます。グラフにカーソルを合わせると、特定のエポックにおける各 run とベースラインの比較を確認できます。 たとえば、次の画像は、run lr-experiment-0.003 と lr-experiment-0.0001 をベースライン run baseline-config と比較したものです。
   

​

制限事項

• Grouping: run selector または run テーブルで run を表示する 際に、run を列でグループ化していると、ピン留めされた run とベースライン run は他の run と見分けがつかなくなります。
• Reports: W&B Report の run set では、ピン留めされた run とベースライン run は他の run と見分けがつきません。
• Workspace ビューのみ: 単一の run の workspace を表示している場合、ベースラインは表示されません。
• 折れ線グラフ のみ: ベースラインとの比較は折れ線グラフでのみ利用できます。棒グラフやメディアパネルなど、その他のパネルではまだ利用できません。