> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.
> ピン留めした run とベースライン run を使用して重要な run を把握し、モデルの実験を効率的に評価する方法を説明します。
# run のピン留めと比較
W\&B アプリでは、成績上位の run、本番モデル、失敗した実験、参照 run など、重要な run を整理、特定、比較できます。そのために、次の機能を使用して run を整理および比較できます。
* **ピン留めした run**: Workspace 内の任意の project の run をピン留めすると、run 一覧の上部に常に表示されます。1 つの Workspace では、他の project の run も含めて最大 20 個の run をピン留めできます。
* **ベースライン run**: 比較の基準としてベースライン run を指定します。ベースライン run は、Workspace 内および run 一覧の上部に常に表示されます。run テーブルでは、サマリー メトリクスの差分により、各 run とベースラインの比較結果が示されます。折れ線グラフでは、比較しやすいようにベースラインが他と区別できるスタイルで表示されます。
これらの機能は、特に次のような場合に役立ちます。
* 新しい実験を本番モデルと比較する。
* [project をまたいで run を比較する](/ja/products/wandb/runs/compare-runs#compare-runs-across-projects)。
* [実験のベースラインを作成し、新しい run のパフォーマンスをベースラインと比較して評価する。](/ja/products/wandb/runs/compare-runs#manage-and-compare-a-baseline-run)
* 実験中に複数の候補モデルをトラッキングする。
* 新しい run がこれまでの最良の結果を上回るかどうかを評価する。
[制限事項](#limitations)を参照してください。
run をピン留めする
run をピン留めすると、ワークスペースの上部に常に表示されるため、すばやくアクセスできます。ピン留めした run またはベースライン run を非表示にするには、 アイコンをクリックします。非表示の run を再表示するには、 アイコンをクリックします。ピン留めした run は、円形のピンアイコン付きで run selector の上部に表示され、区切り線で他の run と分けられます。
run をピン留めするには:
1. ワークスペースにアクセスします。
2. run selector または run テーブルで、ピン留めする run を検索します。
3. **action ()** メニューをクリックし、**Pin run** を選択します。
1 つのワークスペースでピン留めできる run は最大 20 個です。ベースライン run を設定している場合は、ベースラインが暗黙的にピン留めされるため、ピン留めできる run は最大 19 個になります。
run のピン留めを解除するには、ピンアイコンをクリックします。または、ピン留めと同じ手順で **Unpin run** を選択します。
project でピン留めした run は、[個人用ワークスペースビューまたは保存済みワークスペースビュー](/ja/products/wandb/track/workspaces#saved-workspace-views)にのみ反映されます。[別の project からピン留めした run](/ja/products/wandb/runs/compare-runs#compare-runs-across-projects) も同様です。
project をまたいで run を比較する
別の project の run を選択して現在の Workspace に[ピン留め](/ja/products/wandb/runs/compare-runs#pin-runs)すると、異なる project の run を比較できます。
1. project の Workspace にアクセスします。
2. Workspace の run selector または run テーブルの上部にある **Select runs from another project** ボタン (角の丸い小さな四角形に斜めの矢印が付いたアイコン) をクリックします。
3. モーダルの **Source project** ドロップダウンから project を選択します。
4. ソース project の run を検索し、比較したい run を見つけます。run 名または一意の ID で検索できます。
5. 比較したい run の横にあるチェックボックスをそれぞれオンにし、**Pin runs** をクリックします。
別の project からピン留めした run は、run selector または run テーブルに表示されます。他の project からピン留めした run には、名前の横に白抜きの円アイコンが表示されます。ピン留めした run がどの project のものかを確認するには、run 名にカーソルを合わせます。
ピン留めした run のアーティファクト、ログ、その他の詳細は、元の run にリンクしています。W\&B はこれらのデータを現在の project や Workspace にインポートしません。別の project からピン留めした run の詳細を表示するには、その run をクリックします。元の run の詳細が新しいブラウザータブで開きます。
異なる project の run を比較するには、比較したい run をピン留めし、[折れ線グラフ](/ja/products/wandb/app/features/panels/line-plot)を使用して視覚的に比較します。
ベースライン run の管理と比較
1 つの run を Workspace のベースラインとして指定すると、Workspace 内の他の run を評価する際の基準として使用できます。
run セレクターと run テーブルでは、ベースライン run はピン留めした run と並んで上部に表示され、ピンではなくブックマークアイコンが付きます。
折れ線グラフでは、ベースライン run の線は他の線よりも太く表示されます。グラフまたは凡例にカーソルを合わせると、ベースライン run の線は破線になります。
ベースライン run を設定する
ベースライン run を設定するには、次の手順を実行します。
1. workspace にアクセスします。
2. run selector または run テーブルで、ベースラインとして使用する run を検索します。
3. **action ()** メニューをクリックし、**Set as baseline** を選択します。
ベースライン run は run selector の最上部に表示され、区切り線で他の run と分けられます。また、ベースライン run には円ではなくブックマークアイコンが表示されます。
ベースライン run を変更する
ベースラインに設定できる run は一度に 1 つだけです。ベースライン run を変更するには、次の手順を実行します。
1. Workspace にアクセスします。
2. run selector または run テーブルで、新しいベースラインとして使用する run を検索します。
3. **action ()** メニューをクリックし、**Replace baseline** を選択します。メニュー項目が無効になっている場合は、ピン留めの空き枠が 1 つ以上あることを確認してください。必要に応じて、ピン留めした run の横にある円形のピンアイコンをクリックし、ピン留めを解除してください。
4. 新しい run がベースラインになります。以前のベースラインはすぐに見つけられるよう、自動的にピン留めされます。必要に応じて、ピンアイコンをクリックしてピン留めを解除することもできます。
ベースラインの指定を解除する
ベースラインの指定を解除するには、次の手順を実行します。
1. Workspace にアクセスします。
2. run selector または run テーブルで、現在のベースライン run を検索します。
3. **action ()** メニューをクリックし、**Remove baseline** を選択します。メニュー項目が無効になっている場合は、ピン留めの枠に 1 つ以上空きがあることを確認してください。必要に応じて、ピン留めした run の横にある円形のピンアイコンをクリックし、ピン留めを解除します。
4. 以前のベースラインは、見つけやすいように自動的にピン留めされます。必要に応じて、そのピンアイコンをクリックしてピン留めを解除できます。
run をベースラインと比較する
ベースライン run は、その run がログしたメトリクスの折れ線グラフに常に表示されます。折れ線グラフでは、ベースライン run の線は他の線よりも太く表示されます。
* グラフ上にカーソルを合わせると、ベースライン run やピン留めした run を含む、表示中のすべての run の値がツールチップに表示されます。
* ベースライン run の凡例ラベルにカーソルを合わせると、その線が太い破線で強調表示されます。表示中の他の run の線は彩度が下がって表示されます。
* 別の run の凡例ラベルにカーソルを合わせると、その run の線が強調表示され、太い破線で表示されるベースラインと比較できます。表示中の他の run の線は彩度が下がって表示されます。
サマリー メトリクスの差分
run をベースラインに設定すると、デフォルトでは、ベースライン run と同じサマリー メトリクスをログする他のすべての run に、そのメトリクスのベースラインからの差分 (変化量) が表示されます。差分は、run テーブル内の該当する run の行で、メトリクスの値の右側に表示されます。
デフォルトでは、差分は濃いグレーの背景に濃いグレーの文字で表示されます。ひと目で判別できるよう意味に応じた色分けを有効にするには、列の **Metric directionality** を設定します。方向性を設定すると、次のように表示されます。
* 他の run がベースラインを**上回る** (方向性の観点でより優れている) 場合、差分は薄い赤の背景に濃い赤の文字で表示されます。
* 他の run がベースラインを**下回る** (方向性の観点でより優れている) 場合、差分は薄いティールの背景に濃いティールの文字で表示されます。
メトリクスの方向性を設定するには、次の手順を実行します。
1. run テーブルで、対象のメトリクスの列見出しにカーソルを合わせます。
2. 表示される **action ()** メニューをクリックします。
3. **Metric directionality** を **Higher values are best** または **Lower values are best** に設定します。
次のスクリーンショットは、run `nanochat-train-base` と `nanochat-train-mid` をベースライン run `nanochat-train` と比較した例です。`TOTAL_TRAINING_TIME`、`TRAIN/DT`、`TRAIN/GRAD_NORM` の差分メトリクスが表示されています。
Workspace でサマリー メトリクスの差分を非表示にする
デフォルトでは、ベースライン run が設定された Workspace には、サマリー メトリクスの差分が常に表示されます。Workspace で差分を非表示にするには、次の手順に従います。
1. Workspace で **Settings** をクリックします。
2. 表示されたドロワーで **Runs** をクリックします。
3. **Baseline** タブで、**Show value deltas in the runs table** をオフに切り替えます。
4. Workspace settings のドロワーを閉じます。
ユースケース
このセクションでは、ピン留めした run とベースライン run を実験の指針として活用できるシナリオをいくつか紹介します。
* **本番モデルをトラッキングする**: 新しいモデルがデプロイ前に品質基準を満たしていることを確認します。
1. 本番モデルをベースラインに設定します。
2. すべての実験をデプロイ済みのモデルと比較し、本番モデルを上回る候補を特定します。
* **ハイパーパラメーターの実験を比較する**: ハイパーパラメーターの sweep や手動の実験を、現時点で最良の設定と比較して評価します。
1. 現時点で最良の設定をベースラインに設定します。
2. 有望な候補が見つかったら、その都度ピン留めします。
3. 折れ線グラフを使用して、run をベースラインと視覚的に比較します。
4. より良い設定が見つかったら、その都度ベースラインを更新します。
例: ハイパーパラメーター調整の実験で得られた run を比較する
このセクションでは、ピン留めした run とベースライン run を活用して run を比較する方法を説明します。
たとえば、次のコードは、複数の run を実行するハイパーパラメーター調整のシナリオをシミュレートします。
```python expandable theme={"system"}
import wandb
import random
import math
def train_model(learning_rate, batch_size, run_name, tags=None):
"""Simulate training a model with given hyperparameters."""
config = {
"learning_rate": learning_rate,
"batch_size": batch_size,
"optimizer": "adam",
"architecture": "resnet50"
}
with wandb.init(
# 自分のチーム名とプロジェクト名に置き換えてください
project="hyperparameter-tuning",
entity="your-team-name", # 自分のチーム名に置き換えてください
name=run_name,
config=config,
tags=tags or []
) as run:
# トレーニングループをシミュレートします
for epoch in range(50):
# シミュレーション上のメトリクス
accuracy = 0.6 + 0.3 * (1 - math.exp(-learning_rate * epoch / 10))
loss = 1.0 * math.exp(-learning_rate * epoch / 10)
run.log({
"epoch": epoch,
"accuracy": accuracy,
"loss": loss
})
# 標準設定でベースライン run を作成します
train_model(
learning_rate=0.001,
batch_size=64,
run_name="baseline-config",
tags=["baseline", "production"]
)
# 学習率を変えて実験します
train_model(
learning_rate=0.003,
batch_size=64,
run_name="lr-experiment-0.003",
tags=["experiment"]
)
train_model(
learning_rate=0.0001,
batch_size=64,
run_name="lr-experiment-0.0001",
tags=["experiment"]
)
```
run が完了したら、W\&B アプリ にアクセスして Workspace で run を確認します。有望な実験をピン留めし、ベースライン run を設定すると、新しい run のパフォーマンスをベースライン run と比較できます。
1. W\&B の project にアクセスします。
2. **Runs** タブを選択します。
3. [フィルター](/ja/products/wandb/runs/filter-runs)を使用して `baseline` タグが付いた run を絞り込み、その run を[ベースライン](#set-a-baseline-run) run として設定します。
4. `baseline-config` を[ピン留め](#pin-runs)して、run テーブルの上部に表示されるようにします。
5. 実験の run をベースラインと比較します。
* `accuracy` 列の横にある縦三点リーダーメニューを選択し、**Metric directionality** を **Higher values are best** に設定します。これで、各 run の精度の差分が run テーブルに表示されます。
* `loss` 列の横にある縦三点リーダーメニューを選択し、**Metric directionality** を **Lower values are best** に設定します。これで、各 run の損失の差分が run テーブルに表示されます。
6. 折れ線グラフを使用して、run をベースラインと視覚的に比較します。ベースライン run は太い破線で表示されます。グラフにカーソルを合わせると、特定のエポックにおける各 run とベースラインの比較を確認できます。
たとえば、次の画像は、run `lr-experiment-0.003` と `lr-experiment-0.0001` をベースライン run `baseline-config` と比較したものです。
制限事項
ピン留めされた run とベースライン run では、次の機能はまだサポートされていません。
* **Grouping**: run selector または run テーブルで [run を表示する](/ja/products/wandb/runs#view-logged-runs) 際に、run を列でグループ化していると、ピン留めされた run とベースライン run は他の run と見分けがつかなくなります。
* **Reports**: [W\&B Report](/ja/products/wandb/reports) の run set では、ピン留めされた run とベースライン run は他の run と見分けがつきません。
* **Workspace ビューのみ**: 単一の run の workspace を表示している場合、ベースラインは表示されません。
* **折れ線グラフ のみ**: ベースラインとの比較は折れ線グラフでのみ利用できます。棒グラフやメディアパネルなど、その他のパネルではまだ利用できません。