> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.

> 모델의 하이퍼파라미터와 출력 메트릭 간의 관계를 시각화합니다

# 매개변수 중요도

매개변수 중요도 패널은 어떤 하이퍼파라미터가 메트릭의 바람직한 값을 가장 잘 예측하고 그 값과 높은 상관관계를 갖는지 파악하는 데 도움을 줍니다. 이 패널을 활용하면 이후의 하이퍼파라미터 검색을 모델 성능에 가장 큰 영향을 주는 매개변수에 집중할 수 있습니다.

<Frame>
  <img src="https://mintcdn.com/coreweave-dbfa0e8d/3Dv_sw2eg8feUJlx/products/wandb/_media/parameter-importance-1.png?fit=max&auto=format&n=3Dv_sw2eg8feUJlx&q=85&s=5804f0dec22b8b49001563c544a51066" alt="매개변수 중요도 패널" width="1528" height="684" data-path="products/wandb/_media/parameter-importance-1.png" />
</Frame>

\*\*상관관계(Correlation)\*\*는 하이퍼파라미터와 선택한 메트릭(이 예에서는 `val_loss`) 간의 선형 상관관계입니다. 상관관계가 높다는 것은 하이퍼파라미터 값이 높을수록 메트릭 값도 높아지고, 그 반대도 마찬가지라는 의미입니다. 상관관계는 유용한 메트릭이지만 입력 간의 2차 상호작용을 캡처할 수 없으며, 범위가 서로 다른 입력을 비교할 때는 결과를 해석하기 어려워질 수 있습니다.

W\&B는 **중요도** 메트릭도 계산합니다. W\&B는 하이퍼파라미터를 입력으로, 메트릭을 목표 출력으로 하여 랜덤 포레스트를 트레이닝한 다음, 해당 랜덤 포레스트의 특성 중요도 값을 보여 줍니다.

이 기법은 [Jeremy Howard](https://twitter.com/jeremyphoward)와의 대화에서 착안했습니다. Jeremy는 [Fast.ai](https://fast.ai)에서 랜덤 포레스트 특성 중요도를 활용해 하이퍼파라미터 공간을 탐색하는 방법을 처음 도입했습니다. 이 분석의 배경에 대한 자세한 내용은 [Fast.ai 4강 강의](https://course18.fast.ai/lessonsml1/lesson4.html)와 [Fast.ai 4강 포럼 노트](https://forums.fast.ai/t/wiki-lesson-thread-lesson-4/7540)를 참조하세요.

하이퍼파라미터 중요도 패널은 서로 상관관계가 높은 하이퍼파라미터 간의 복잡한 상호작용을 풀어냅니다. 모델 성능을 예측하는 데 가장 중요한 하이퍼파라미터가 무엇인지 보여 주므로, 하이퍼파라미터 검색을 더 정교하게 조정할 수 있습니다.

<h2 id="create-a-hyperparameter-importance-panel">
  하이퍼파라미터 중요도 패널 만들기
</h2>

하이퍼파라미터 중요도 패널을 workspace에 추가하려면:

1. W\&B 프로젝트로 이동하세요.
2. **Add panels** 버튼을 선택하세요.
3. **CHARTS** 드롭다운을 확장한 다음 드롭다운에서 **Parallel coordinates**를 선택하세요.

<Note>
  빈 패널이 나타나면 run이 그룹화되지 않았는지 확인하세요.
</Note>

<Frame>
  <img src="https://mintcdn.com/coreweave-dbfa0e8d/3Dv_sw2eg8feUJlx/products/wandb/_media/hyperparameter_importance_panel.gif?s=d68d7cb450cf99ea0e922fc61bd95099" alt="자동 매개변수 시각화" width="2716" height="1410" data-path="products/wandb/_media/hyperparameter_importance_panel.gif" />
</Frame>

매개변수 관리자를 사용하면 표시할 매개변수와 숨길 매개변수를 수동으로 설정할 수 있습니다.

<Frame>
  <img src="https://mintcdn.com/coreweave-dbfa0e8d/3Dv_sw2eg8feUJlx/products/wandb/_media/hyperparameter_importance_panel_manual.gif?s=948ea3904de1360d239b15333d95d398" alt="표시 및 숨겨진 필드 수동 설정" width="2718" height="1388" data-path="products/wandb/_media/hyperparameter_importance_panel_manual.gif" />
</Frame>

<h2 id="interpret-a-hyperparameter-importance-panel">
  하이퍼파라미터 중요도 패널 해석
</h2>

다음 섹션에서는 패널에 표시된 중요도와 상관관계 값을 읽는 방법을 설명하여 다음 스윕에서 이를 활용할 수 있도록 합니다.

<Frame>
  <img src="https://mintcdn.com/coreweave-dbfa0e8d/3Dv_sw2eg8feUJlx/products/wandb/_media/parameter-importance-4.png?fit=max&auto=format&n=3Dv_sw2eg8feUJlx&q=85&s=4dd512ea484bd004e4f0c5d649843450" alt="특성 중요도 분석" width="1906" height="1004" data-path="products/wandb/_media/parameter-importance-4.png" />
</Frame>

이 패널은 트레이닝 스크립트에서 [`wandb.Run.config`](/ko/products/wandb/track/config) 객체에 전달된 모든 매개변수를 보여줍니다. 또한 선택한 모델 메트릭(`val_loss`의 경우)에 대한 이러한 설정 매개변수의 특성 중요도와 상관관계를 보여줍니다.

<h3 id="importance">
  중요도
</h3>

중요도 열은 각 하이퍼파라미터가 선택한 메트릭을 예측하는 데 얼마나 유용했는지를 보여 줍니다. 여러 하이퍼파라미터를 튜닝하기 시작한 상황에서 이 플롯을 사용해 추가로 탐색할 가치가 있는 하이퍼파라미터를 가려낸다고 가정해 보세요. 이후의 스윕을 가장 중요한 하이퍼파라미터로 좁히면 더 나은 모델을 더 빠르고 적은 비용으로 찾을 수 있습니다.

<Note>
  W\&B는 선형 모델이 아닌 트리 기반 모델로 중요도를 계산합니다. 트리 기반 모델이 범주형 데이터와 정규화되지 않은 데이터를 모두 더 잘 처리하기 때문입니다.
</Note>

위 이미지에서 `epochs`, `learning_rate`, `batch_size`, `weight_decay`가 중요했음을 확인할 수 있습니다.

<h3 id="correlations">
  상관관계
</h3>

상관관계는 개별 하이퍼파라미터와 메트릭 값 사이의 선형 관계를 캡처합니다. SGD 옵티마이저와 같은 하이퍼파라미터 사용과 `val_loss` 사이에 관계가 존재하는지 여부에 대한 질문에 답합니다(이 경우 답은 yes입니다). 상관관계 값은 -1에서 1 사이이며, 양수 값은 양의 선형 상관관계를, 음수 값은 음의 선형 상관관계를, 0 값은 상관관계가 없음을 나타냅니다. 일반적으로 어느 방향으로든 0.7보다 큰 값은 강한 상관관계를 나타냅니다.

이 그래프를 사용하여 메트릭과 상관관계가 더 높은 값을 추가로 탐색하거나(이 경우 `rmsprop` 또는 `nadam` 대신 확률적 경사 하강법 또는 `adam`을 선택할 수 있음) 더 많은 에포크 동안 트레이닝할 수 있습니다.

<Note>
  * 상관관계는 연관성의 증거를 보여주며, 반드시 인과관계를 의미하지는 않습니다.
  * 상관관계는 이상치에 민감하므로, 특히 시도한 하이퍼파라미터의 샘플 크기가 작을 때 강한 관계가 중간 정도로 바뀔 수 있습니다.
  * 상관관계는 하이퍼파라미터와 메트릭 사이의 선형 관계만 캡처합니다. 상관관계는 강한 다항식 관계를 캡처하지 않습니다.
</Note>

중요도와 상관관계 사이의 차이는 중요도가 하이퍼파라미터 간의 상호작용을 고려하는 반면, 상관관계는 개별 하이퍼파라미터가 메트릭 값에 미치는 영향만 측정하기 때문에 발생합니다. 상관관계는 선형 관계만 캡처하는 반면, 중요도는 더 복잡한 관계를 캡처할 수 있습니다.

중요도와 상관관계는 함께 하이퍼파라미터가 모델 성능에 어떤 영향을 미치는지 이해하는 데 도움이 됩니다.