run 고정 및 비교

• 고정된 run: workspace에 있는 모든 프로젝트의 run을 고정하여 run 목록 상단에 계속 표시할 수 있습니다. 다른 프로젝트의 run을 포함하여 workspace당 최대 20개의 run을 고정할 수 있습니다.
• 기준 run: 기준 run을 지정하여 비교의 기준점으로 삼습니다. 기준 run은 workspace와 run 목록 상단에 항상 표시됩니다. runs table에서는 summary 메트릭의 차이를 통해 각 run을 기준 run과 비교할 수 있습니다. 선형 플롯에서는 베이스라인이 시각적으로 구별되는 스타일로 표시되어 쉽게 비교할 수 있습니다.

• 새 실험을 프로덕션 모델과 비교할 때
• 여러 프로젝트의 run을 비교할 때
• 실험의 베이스라인을 만들고 새 run의 성능을 이와 비교하여 평가할 때
• 실험 중에 여러 후보 모델을 추적할 때
• 새 run이 기존 최고 결과보다 나아졌는지 평가할 때

​

run 고정하기

1. 워크스페이스로 이동하세요.
2. run 선택기 또는 Runs table에서 고정할 run을 찾으세요.
3. 액션() 메뉴를 클릭한 다음 Pin run을 선택하세요.

​

여러 프로젝트의 run 비교하기

1. 프로젝트의 워크스페이스로 이동하세요.
2. 워크스페이스의 run 선택기 또는 run 테이블 상단에 있는 Select runs from another project 버튼(대각선 화살표가 있는 둥근 모서리의 작은 사각형)을 클릭하세요.

3. 모달의 Source project 드롭다운에서 프로젝트를 선택하세요.
4. 소스 프로젝트의 run을 검색하여 비교할 run을 찾으세요. run 이름 또는 고유 ID로 검색할 수 있습니다.
5. 비교할 각 run 옆의 체크박스를 선택한 다음 Pin runs를 클릭하세요.

​

기준 run 관리 및 비교

​

기준 run 설정하기

1. 워크스페이스로 이동하세요.
2. run 선택기 또는 run 테이블에서 기준으로 사용할 run을 찾으세요.
3. 액션() 메뉴를 클릭한 다음 Set as baseline을 선택하세요.

​

기준 run 변경

1. 워크스페이스로 이동하세요.
2. run 선택기 또는 run 테이블에서 새 기준으로 사용할 run을 찾으세요.
3. 액션 () 메뉴를 클릭한 다음 Replace baseline을 선택하세요.
   메뉴 항목이 비활성화되어 있다면 사용 가능한 고정 슬롯이 하나 이상 남아 있는지 확인하세요. 필요하면 고정된 run 옆의 원형 고정 아이콘을 클릭하여 고정을 해제하세요.
4. 새 run이 기준이 되며, 이전 기준 run은 쉽게 찾을 수 있도록 자동으로 고정됩니다. 필요하면 해당 run의 고정 아이콘을 클릭하여 고정을 해제할 수 있습니다.

​

베이스라인 지정 해제

1. 워크스페이스로 이동하세요.
2. run 선택기 또는 run 테이블에서 현재 기준 run을 찾으세요.
3. 액션 () 메뉴를 클릭한 다음 Remove baseline을 선택하세요.
   메뉴 항목이 비활성화되어 있다면 사용 가능한 고정 슬롯이 하나 이상 있는지 확인하세요. 필요하면 고정된 run 옆의 원형 핀 아이콘을 클릭해 고정을 해제하세요.
4. 이전 베이스라인은 쉽게 찾을 수 있도록 자동으로 고정됩니다. 필요하면 핀 아이콘을 클릭해 고정을 해제할 수 있습니다.

​

run을 베이스라인과 비교하기

• 플롯의 특정 부분에 마우스를 올리면 기준 run과 고정된 run을 포함해 표시된 모든 run의 값이 툴팁으로 나타납니다.
  
• 기준 run의 범례 레이블에 마우스를 올리면 해당 선이 강조 표시됩니다. 이 선은 굵은 점선으로 나타나며, 표시된 다른 run의 선은 채도가 낮아집니다.
  
• 다른 run의 범례 레이블에 마우스를 올리면 해당 run의 선이 강조 표시되므로, 굵은 점선으로 나타나는 베이스라인과 비교할 수 있습니다. 표시된 다른 run의 선은 채도가 낮아집니다.
  

​

Summary 메트릭 delta

• 다른 run의 성능이 기준 run보다 우수한(방향상 더 나은) 경우, delta는 연한 빨간색 배경에 진한 빨간색 텍스트로 표시됩니다.
• 다른 run의 성능이 기준 run보다 낮은(방향상 더 나은) 경우, delta는 연한 청록색 배경에 진한 청록색 텍스트로 표시됩니다.

1. runs table에서 해당 메트릭의 열 제목에 마우스를 올리세요.
2. 표시되는 액션 () 메뉴를 클릭하세요.
3. Metric directionality를 Higher values are best 또는 Lower values are best로 설정하세요.

​

Workspace에서 summary 메트릭 델타 숨기기

1. Workspace에서 Settings를 클릭하세요.
2. 표시되는 드로어에서 Runs를 클릭하세요.
3. Baseline 탭에서 Show value deltas in the runs table 토글을 끄세요.
4. Workspace 설정 드로어를 닫으세요.

​

사용 사례

• 프로덕션 모델 추적: 새 모델이 배포 전에 품질 기준을 충족하는지 확인합니다.
  1. 프로덕션 모델을 베이스라인으로 설정하세요.
  2. 모든 실험을 배포된 모델과 비교하여 프로덕션 모델보다 성능이 뛰어난 후보를 파악하세요.
• 하이퍼파라미터 실험 비교: 하이퍼파라미터 스윕이나 수동 실험을 현재까지 가장 좋은 설정과 비교해 평가합니다.
  1. 현재까지 가장 좋은 설정을 베이스라인으로 설정하세요.
  2. 유망한 후보를 발견하면 바로 고정하세요.
  3. 선형 플롯을 사용하여 run을 베이스라인과 시각적으로 비교하세요.
  4. 더 나은 설정을 찾을 때마다 베이스라인을 업데이트하세요.

​

예시: 하이퍼파라미터 튜닝 실험의 run 비교하기

import wandb
import random
import math

def train_model(learning_rate, batch_size, run_name, tags=None):
    """Simulate training a model with given hyperparameters."""
    config = {
        "learning_rate": learning_rate,
        "batch_size": batch_size,
        "optimizer": "adam",
        "architecture": "resnet50"
    }
    
    with wandb.init(
      # 사용 중인 팀 이름과 프로젝트 이름으로 바꾸세요
        project="hyperparameter-tuning",
        entity="your-team-name", # 사용 중인 팀 이름으로 바꾸세요
        name=run_name,
        config=config,
        tags=tags or []
    ) as run:
        # 트레이닝 루프 시뮬레이션
        for epoch in range(50):
            # 시뮬레이션 메트릭
            accuracy = 0.6 + 0.3 * (1 - math.exp(-learning_rate * epoch / 10))
            loss = 1.0 * math.exp(-learning_rate * epoch / 10)
            
            run.log({
                "epoch": epoch,
                "accuracy": accuracy,
                "loss": loss
            })

# 표준 설정으로 기준 run 생성
train_model(
    learning_rate=0.001,
    batch_size=64,
    run_name="baseline-config",
    tags=["baseline", "production"]
)

# 학습률을 바꿔 가며 실험
train_model(
    learning_rate=0.003,
    batch_size=64,
    run_name="lr-experiment-0.003",
    tags=["experiment"]
)

train_model(
    learning_rate=0.0001,
    batch_size=64,
    run_name="lr-experiment-0.0001",
    tags=["experiment"]
)

1. W&B 프로젝트로 이동하세요.
2. Runs 탭을 선택하세요.
3. baseline 태그가 있는 run을 필터링한 다음, 해당 run을 베이스라인 run으로 설정하세요.
4. baseline-config를 고정하여 해당 run이 runs table 상단에 표시되도록 하세요.
5. 실험 run을 베이스라인과 비교하세요.
   • accuracy 열 옆의 세로 줄임표 메뉴를 선택한 다음 Metric directionality를 Higher values are best로 설정하세요. 이제 runs table에 각 run의 정확도 delta가 표시됩니다.
   • loss 열 옆의 세로 줄임표 메뉴를 선택한 다음 Metric directionality를 Lower values are best로 설정하세요. 이제 runs table에 각 run의 loss delta가 표시됩니다.
   
6. 선형 플롯을 사용하여 run을 베이스라인과 시각적으로 비교하세요. 베이스라인 run은 굵은 점선으로 표시되며, 플롯에 마우스를 올리면 특정 에포크에서 각 run이 베이스라인 run과 비교해 어떤지 확인할 수 있습니다. 예를 들어 다음 이미지는 lr-experiment-0.003 run과 lr-experiment-0.0001 run을 베이스라인 run인 baseline-config와 비교한 결과를 보여줍니다.
   

​

제한 사항

• Grouping: run 선택기 또는 runs table에서 run을 볼 때 run이 특정 열을 기준으로 그룹화되어 있으면 고정된 run과 기준 run이 다른 run과 시각적으로 구분되지 않습니다.
• Reports: W&B Report의 run 세트에서는 고정된 run과 기준 run이 다른 run과 시각적으로 구분되지 않습니다.
• 워크스페이스 뷰에서만 지원: 단일 run의 워크스페이스에서는 베이스라인이 표시되지 않습니다.
• 선형 플롯에서만 지원: 베이스라인 비교는 선형 플롯에서만 사용할 수 있으며, 막대 플롯이나 미디어 패널 등 다른 패널에서는 아직 사용할 수 없습니다.