> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.

> モデルのハイパーパラメーターと出力メトリクスの関係を可視化します

# パラメーター重要度

パラメーター重要度パネルを使用すると、どのハイパーパラメーターがメトリクスの望ましい値を最もよく予測し、その値と強い相関を持つかを把握できます。このパネルを活用して、今後のハイパーパラメーター探索の対象を、モデル性能に最も影響するパラメーターに絞り込みましょう。

<Frame>
  <img src="https://mintcdn.com/coreweave-dbfa0e8d/3Dv_sw2eg8feUJlx/products/wandb/_media/parameter-importance-1.png?fit=max&auto=format&n=3Dv_sw2eg8feUJlx&q=85&s=5804f0dec22b8b49001563c544a51066" alt="パラメーター重要度パネル" width="1528" height="684" data-path="products/wandb/_media/parameter-importance-1.png" />
</Frame>

**相関**は、ハイパーパラメーターと選択したメトリクス (この例では `val_loss`) との線形相関です。相関が高い場合、ハイパーパラメーターの値が大きいほどメトリクスの値も大きくなり、値が小さいほどメトリクスの値も小さくなります。相関は有用なメトリクスですが、入力間の二次的な相互作用は捉えられません。また、値の範囲が異なる入力同士を比較すると、解釈が難しくなることがあります。

W\&B は **重要度** メトリクスも計算します。W\&B はハイパーパラメーターを入力、メトリクスを目標出力としてランダムフォレストをトレーニングし、そのランダムフォレストの特徴量の重要度を報告します。

この手法は、[Jeremy Howard](https://twitter.com/jeremyphoward) との会話から着想を得たものです。Jeremy は [Fast.ai](https://fast.ai) で、ランダムフォレストの特徴量の重要度を使用してハイパーパラメーター空間を探索する手法をいち早く取り入れました。この分析の背景にある考え方の詳細については、[Fast.ai lesson 4 lecture](https://course18.fast.ai/lessonsml1/lesson4.html) および [Fast.ai lesson 4 forum notes](https://forums.fast.ai/t/wiki-lesson-thread-lesson-4/7540) を参照してください。

ハイパーパラメーター重要度パネルは、強い相関を持つハイパーパラメーター同士の複雑な相互作用を解きほぐします。モデル性能の予測に最も重要なハイパーパラメーターを示すことで、ハイパーパラメーター探索をより的確に調整できるようにします。

<h2 id="create-a-hyperparameter-importance-panel">
  ハイパーパラメーター重要度パネルを作成する
</h2>

Workspace にハイパーパラメーター重要度パネルを追加するには、次の手順に従います。

1. W\&B プロジェクトにアクセスします。
2. **Add panels** ボタンを選択します。
3. **CHARTS** ドロップダウンを展開し、**Parallel coordinates** を選択します。

<Note>
  空のパネルが表示される場合は、run のグループ化が解除されていることを確認してください。
</Note>

<Frame>
  <img src="https://mintcdn.com/coreweave-dbfa0e8d/3Dv_sw2eg8feUJlx/products/wandb/_media/hyperparameter_importance_panel.gif?s=d68d7cb450cf99ea0e922fc61bd95099" alt="パラメーターの自動可視化" width="2716" height="1410" data-path="products/wandb/_media/hyperparameter_importance_panel.gif" />
</Frame>

パラメーターマネージャーを使用すると、表示するパラメーターと非表示にするパラメーターを手動で設定できます。

<Frame>
  <img src="https://mintcdn.com/coreweave-dbfa0e8d/3Dv_sw2eg8feUJlx/products/wandb/_media/hyperparameter_importance_panel_manual.gif?s=948ea3904de1360d239b15333d95d398" alt="表示するフィールドと非表示にするフィールドの手動設定" width="2718" height="1388" data-path="products/wandb/_media/hyperparameter_importance_panel_manual.gif" />
</Frame>

<h2 id="interpret-a-hyperparameter-importance-panel">
  ハイパーパラメーター重要度パネルを読み解く
</h2>

以下のセクションでは、パネルに表示される重要度と相関の値の読み方を説明します。読み取った結果は、次回の sweep に活かすことができます。

<Frame>
  <img src="https://mintcdn.com/coreweave-dbfa0e8d/3Dv_sw2eg8feUJlx/products/wandb/_media/parameter-importance-4.png?fit=max&auto=format&n=3Dv_sw2eg8feUJlx&q=85&s=4dd512ea484bd004e4f0c5d649843450" alt="特徴量の重要度の分析" width="1906" height="1004" data-path="products/wandb/_media/parameter-importance-4.png" />
</Frame>

このパネルには、トレーニングスクリプトで [`wandb.Run.config`](/ja/products/wandb/track/config) オブジェクトに渡したすべてのパラメーターが表示されます。さらに、選択したモデルのメトリクス (この例では `val_loss`) に対して、これらの設定パラメーターがどの程度重要か (特徴量の重要度) と、どのような相関があるかも表示されます。

<h3 id="importance">
  重要度
</h3>

重要度の列には、各ハイパーパラメーターが選択したメトリクスの予測にどの程度役立ったかが表示されます。たとえば、多数のハイパーパラメーターのチューニングを始めたときに、このプロットを使用して、さらに探索する価値のあるハイパーパラメーターを絞り込むといった使い方が考えられます。その後の sweep を最も重要なハイパーパラメーターに限定すれば、より優れたモデルをより速く、より低コストで見つけることができます。

<Note>
  W\&B は、線形モデルではなくツリーベースのモデルを使用して重要度を計算します。ツリーベースのモデルは、カテゴリデータにも正規化されていないデータにも強いためです。
</Note>

上の画像から、`epochs`、`learning_rate`、`batch_size`、`weight_decay` が重要であったことがわかります。

<h3 id="correlations">
  相関
</h3>

相関は、個々のハイパーパラメーターとメトリクス値の間の線形関係を取得します。相関からは、SGD オプティマイザーなどのハイパーパラメーターの使用と `val_loss` の間に関係があるかどうかがわかります (この例では、関係があります)。相関値の範囲は -1 から 1 で、正の値は正の線形相関、負の値は負の線形相関を表し、0 は相関がないことを表します。一般に、正負いずれの方向でも、絶対値が 0.7 を超える場合は強い相関があるとみなされます。

このグラフを使用すると、メトリクスとの相関が高い値をさらに詳しく調べることができます (この例では、`rmsprop` や `nadam` ではなく確率的勾配降下法や `adam` を選択するとよいでしょう)。また、エポック数を増やしてトレーニングすることも検討できます。

<Note>
  * 相関は関連性を示すものであり、必ずしも因果関係を示すものではありません。
  * 相関は外れ値の影響を受けやすく、特に試行したハイパーパラメーターのサンプルサイズが小さい場合は、強い関係が中程度の関係として表れることがあります。
  * 相関が取得するのは、ハイパーパラメーターとメトリクスの間の線形関係のみです。強い多項式関係は取得できません。
</Note>

重要度と相関に差異が生じるのは、重要度がハイパーパラメーター間の相互作用を考慮するのに対し、相関は個々のハイパーパラメーターがメトリクス値に与える影響のみを測定するためです。また、相関が線形関係しか取得できないのに対し、重要度はより複雑な関係も取得できます。

重要度と相関を組み合わせることで、ハイパーパラメーターがモデル性能にどのように影響するかを把握できます。