Add W&B (wandb) to your code

이 가이드는 하이퍼파라미터 검색 최적화를 위해 Python 트레이닝 스크립트 또는 노트북에 W&B를 통합하는 방법을 권장합니다. 이러한 권장 사항을 따르면 W&B Sweeps를 사용하여 하이퍼파라미터 값을 탐색하고, 트레이닝 및 검증 메트릭을 로깅하고, 우수한 모델 성능을 내는 설정을 파악할 수 있습니다. 이 가이드는 이미 Python 트레이닝 스크립트가 있고 하이퍼파라미터 스윕 지원을 추가하려는 머신 러닝 실무자를 대상으로 합니다. 다음 섹션에서는 트레이닝 스크립트 예시를 살펴본 후, W&B Sweeps와 함께 작동하도록 수정하는 방법을 설명합니다.

원본 트레이닝 스크립트

모델을 트레이닝하는 Python 스크립트가 있다고 가정해 보겠습니다(아래 코드 참조). 목표는 검증 정확도(val_acc)를 최대화하는 하이퍼파라미터를 찾는 것입니다. Python 스크립트에는 train_one_epoch와 evaluate_one_epoch라는 두 함수를 정의합니다. train_one_epoch 함수는 한 에포크 동안의 트레이닝을 시뮬레이션하고 트레이닝 정확도와 손실을 반환합니다. evaluate_one_epoch 함수는 검증 데이터셋으로 모델을 평가하는 과정을 시뮬레이션하고 검증 정확도와 손실을 반환합니다. 학습률, 배치 크기, 에포크 수 등의 하이퍼파라미터 값을 담은 config라는 설정 딕셔너리를 정의합니다. 이 설정 딕셔너리의 값에 따라 트레이닝 과정이 제어됩니다. 다음으로, 일반적인 트레이닝 루프를 흉내 내는 main 함수를 정의합니다. 스크립트는 에포크마다 트레이닝 데이터셋과 검증 데이터셋의 정확도와 손실을 계산합니다.

이 코드는 모의 트레이닝 스크립트입니다. 실제로 모델을 트레이닝하지는 않으며, 무작위 정확도 및 손실 값을 생성하여 트레이닝 과정을 시뮬레이션합니다. 이 코드는 트레이닝 스크립트에 W&B를 통합하는 방법을 보여주기 위한 것입니다.

import random
import numpy as np

def train_one_epoch(epoch, lr, batch_size):
    acc = 0.25 + ((epoch / 30) + (random.random() / 10))
    loss = 0.2 + (1 - ((epoch - 1) / 10 + random.random() / 5))
    return acc, loss

def evaluate_one_epoch(epoch):
    acc = 0.1 + ((epoch / 20) + (random.random() / 10))
    loss = 0.25 + (1 - ((epoch - 1) / 10 + random.random() / 6))
    return acc, loss

# 하이퍼파라미터 값을 담은 config 변수
config = {"lr": 0.0001, "batch_size": 16, "epochs": 5}

def main():
    lr = config["lr"]
    batch_size = config["batch_size"]
    epochs = config["epochs"]

    for epoch in np.arange(1, epochs):
        train_acc, train_loss = train_one_epoch(epoch, lr, batch_size)
        val_acc, val_loss = evaluate_one_epoch(epoch)

        print("epoch: ", epoch)
        print("training accuracy:", train_acc, "training loss:", train_loss)
        print("validation accuracy:", val_acc, "validation loss:", val_loss)

if __name__ == "__main__":
    main()

다음 섹션에서는 Python 스크립트에 W&B를 추가하여 트레이닝 중 하이퍼파라미터와 메트릭을 추적하는 방법을 보여줍니다. W&B를 사용하여 검증 정확도(val_acc)를 최대화하는 최적의 하이퍼파라미터를 찾고자 합니다.

트레이닝 스크립트에 W&B 추가하기

이 섹션에서는 스윕 에이전트가 각 run에 하이퍼파라미터 값을 전달하고 W&B가 결과 메트릭을 기록할 수 있도록 원본 트레이닝 스크립트를 수정하는 방법을 설명합니다. Python 스크립트나 노트북에 W&B를 통합하는 방법은 스윕을 관리하는 방식에 따라 달라집니다. W&B Python SDK를 사용하여 스윕을 시작, 중지, 관리하려면 Python script or notebook 탭의 지침을 따르세요. 대신 W&B CLI를 사용하려면 CLI 탭의 지침을 따르세요.

CLI
Python 스크립트 또는 노트북

스윕 설정이 포함된 YAML 설정 파일을 만드세요. 설정 파일에는 스윕에서 탐색할 하이퍼파라미터가 포함됩니다. 다음 예시에서 스윕은 각 run마다 batch_size, epochs, lr 하이퍼파라미터를 변경합니다.

# config.yaml
program: train.py
method: random
name: sweep
metric:
  goal: maximize
  name: val_acc
parameters:
  batch_size:
    values: [16, 32, 64]
  lr:
    min: 0.0001
    max: 0.1
  epochs:
    values: [5, 10, 15]

자세한 내용은 스윕 설정 정의를 참조하세요.YAML 파일의 program 키에 Python 스크립트의 이름을 지정해야 합니다.다음으로, 코드 예제에 다음 내용을 추가하세요.

W&B Python SDK(wandb)와 PyYAML(yaml)을 임포트하세요. PyYAML은 YAML 설정 파일을 읽어 들이는 데 사용합니다.
설정 파일을 읽어 들이세요.
wandb.init()을 사용하여 데이터를 동기화하고 W&B Run으로 로깅하는 백그라운드 프로세스를 시작하세요. config 객체를 config 매개변수에 전달하세요.
하드코딩된 값 대신 wandb.Run.config에서 하이퍼파라미터 값을 가져와 정의하세요.
wandb.Run.log()를 사용하여 최적화하려는 메트릭을 로깅하세요. 설정에 정의된 메트릭은 반드시 로깅해야 합니다. 이 예제에서는 설정 딕셔너리(sweep_configuration)에서 val_acc 값을 최대화하도록 스윕을 정의합니다.

import wandb
import yaml
import random
import numpy as np


def train_one_epoch(epoch, lr, batch_size):
    acc = 0.25 + ((epoch / 30) + (random.random() / 10))
    loss = 0.2 + (1 - ((epoch - 1) / 10 + random.random() / 5))
    return acc, loss


def evaluate_one_epoch(epoch):
    acc = 0.1 + ((epoch / 20) + (random.random() / 10))
    loss = 0.25 + (1 - ((epoch - 1) / 10 + random.random() / 6))
    return acc, loss


def main():
    # 기본 하이퍼파라미터를 설정합니다
    with open("./config.yaml") as file:
        config = yaml.load(file, Loader=yaml.FullLoader)

    with wandb.init(config=config) as run:
        for epoch in np.arange(1, run.config['epochs']):
            train_acc, train_loss = train_one_epoch(epoch, run.config['lr'], run.config['batch_size'])
            val_acc, val_loss = evaluate_one_epoch(epoch)
            run.log(
                {
                    "epoch": epoch,
                    "train_acc": train_acc,
                    "train_loss": train_loss,
                    "val_acc": val_acc,
                    "val_loss": val_loss,
                }
            )

# main 함수를 호출합니다.
main()

트레이닝 스크립트를 업데이트한 후 CLI에서 스윕을 초기화하고 시작하세요:

wandb sweep 명령으로 스윕을 초기화하세요. YAML 파일 이름을 지정하세요. 선택적으로 --project 플래그에 프로젝트 이름을 설정하세요:
wandb sweep --project sweep-demo-cli config.yaml
이 명령은 스윕 ID를 반환합니다. 자세한 내용은 스윕을 초기화를 참조하세요.
스윕 ID를 복사하여 다음 명령의 [SWEEP-ID]를 바꾸고, wandb agent 명령으로 스윕 작업을 시작하세요. [YOUR-ENTITY]를 W&B entity 이름으로 바꾸세요. 선택적으로 --count를 설정하여 에이전트가 시도할 run 수를 제한하세요(이 예제에서는 5로 설정합니다):
wandb agent --count 5 [YOUR-ENTITY]/sweep-demo-cli/[SWEEP-ID]

스윕 에이전트는 YAML 설정에 있는 하이퍼파라미터 값을 매번 다른 조합으로 사용하여 트레이닝 스크립트를 반복 실행하고, 결과를 W&B에 로깅합니다. 자세한 내용은 스윕 작업 시작을 참조하세요.

다음 단계에 따라 Python 스크립트에 W&B를 추가하세요:

키-값 쌍으로 스윕 설정을 정의하는 딕셔너리 객체를 생성하세요. 스윕 설정은 W&B가 탐색할 하이퍼파라미터와 최적화할 지표를 정의합니다. 이전 예제에 이어 각 스윕에서 batch_size, epochs, lr 하이퍼파라미터를 변경하세요. 검증 정확도를 최대화하려면 지표의 goal을 maximize로, name을 val_acc로 설정하세요.
스윕 설정 딕셔너리를 wandb.sweep()에 전달하세요. 이렇게 하면 스윕이 초기화되고 스윕 ID(sweep_id)가 반환됩니다. 자세한 내용은 스윕을 초기화를 참조하세요.
스크립트 맨 위에서 W&B Python SDK(wandb)를 임포트하세요.
main 함수 내에서 wandb.init()을 사용하여 데이터를 W&B run으로 동기화하고 로깅하는 백그라운드 프로세스를 생성하세요. 프로젝트 이름을 wandb.init() 방법의 매개변수로 전달하세요. 프로젝트 이름을 전달하지 않으면 W&B는 기본 프로젝트 이름을 사용합니다.
wandb.Run.config 객체에서 하이퍼파라미터 값을 가져오세요. 이렇게 하면 하드코딩된 값 대신 스윕 설정 딕셔너리에 정의된 하이퍼파라미터 값을 사용할 수 있습니다.
wandb.Run.log()를 사용하여 최적화할 지표를 W&B에 로깅하세요. 설정에 정의된 지표를 반드시 로깅해야 합니다. 예를 들어 최적화할 지표를 val_acc로 정의했다면 val_acc를 로깅해야 합니다. 지표를 로깅하지 않으면 W&B가 최적화를 수행할 수 없습니다. 설정 딕셔너리(이 예제에서는 sweep_configuration)에서 val_acc 값을 최대화하도록 스윕을 정의합니다.
wandb.agent()로 스윕을 시작하세요. 스윕 ID와 스윕이 실행할 함수의 이름(function=main)을 제공하고, 최대 run 수를 4개(count=4)로 설정하세요.

이를 모두 종합하면 스크립트는 다음과 비슷한 형태가 됩니다.

import wandb # W&B Python SDK를 임포트합니다
import numpy as np
import random
import argparse

def train_one_epoch(epoch, lr, batch_size):
    acc = 0.25 + ((epoch / 30) + (random.random() / 10))
    loss = 0.2 + (1 - ((epoch - 1) / 10 + random.random() / 5))
    return acc, loss

def evaluate_one_epoch(epoch):
    acc = 0.1 + ((epoch / 20) + (random.random() / 10))
    loss = 0.25 + (1 - ((epoch - 1) / 10 + random.random() / 6))
    return acc, loss

def main(args=None):
    # 스윕 에이전트가 호출하면 args가 None이므로,
    # 스윕 설정의 프로젝트를 사용합니다
    project = args.project if args else None
    
    with wandb.init(project=project) as run:
        # `wandb.Run.config` 객체에서 하이퍼파라미터 값을 가져옵니다
        lr = run.config["lr"]
        batch_size = run.config["batch_size"]
        epochs = run.config["epochs"]

        # 트레이닝 루프를 실행하고 성능 값을 W&B에 로깅합니다
        for epoch in np.arange(1, epochs):
            train_acc, train_loss = train_one_epoch(epoch, lr, batch_size)
            val_acc, val_loss = evaluate_one_epoch(epoch)
            run.log(
                {
                    "epoch": epoch,
                    "train_acc": train_acc,
                    "train_loss": train_loss,
                    "val_acc": val_acc, # 최적화할 지표
                    "val_loss": val_loss,
                }
            )

if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--project", type=str, default="sweep-example", help="W&B project name")
    args = parser.parse_args()

    # 스윕 설정 딕셔너리를 정의합니다
    sweep_configuration = {
        "method": "random",
        "name": "sweep",
        # 최적화할 지표
        # 예를 들어, 검증 정확도를 최대화하려면
        # "goal": "maximize"와 최적화할 변수의 이름을 설정합니다 
        # 이 경우 변수 이름은 "val_acc"입니다
        "metric": {
            "goal": "maximize",
            "name": "val_acc"
            },
        "parameters": {
            "batch_size": {"values": [16, 32, 64]},
            "epochs": {"values": [5, 10, 15]},
            "lr": {"max": 0.1, "min": 0.0001},
        },
    }

    # 설정 딕셔너리를 전달하여 스윕을 초기화합니다
    sweep_id = wandb.sweep(sweep=sweep_configuration, project=args.project)

    # 스윕 작업을 시작합니다
    wandb.agent(sweep_id, function=main, count=4)

이 스크립트를 실행하면 W&B가 스윕을 시작하고, 서로 다른 하이퍼파라미터 조합으로 main 함수를 최대 네 번 실행한 뒤 각 run의 메트릭을 로깅하므로 W&B App에서 결과를 비교할 수 있습니다.

스윕에서 W&B에 메트릭 로깅하기스윕 설정에서 정의하고 최적화 대상으로 지정한 메트릭은 wandb.Run.log()로도 로깅해야 합니다. 예를 들어 스윕 설정에서 최적화할 메트릭을 val_acc로 정의했다면, W&B에도 val_acc를 로깅해야 합니다. 메트릭을 로깅하지 않으면 W&B가 최적화를 수행할 수 없습니다.

with wandb.init() as run:
    val_loss, val_acc = train()
    run.log(
        {
            "val_loss": val_loss,
            "val_acc": val_acc
            }
        )

다음은 W&B에 메트릭을 로깅하는 올바르지 않은 예시입니다. 스윕 설정은 val_acc를 최적화하지만, 코드는 validation 키 아래의 중첩 딕셔너리 안에 val_acc를 로깅합니다. 메트릭은 중첩 딕셔너리 안이 아니라 직접 로깅해야 합니다.

with wandb.init() as run:
    val_loss, val_acc = train()
    run.log(
        {
            "validation": {
                "val_loss": val_loss, 
                "val_acc": val_acc
                }
            }
        )

​원본 트레이닝 스크립트

​트레이닝 스크립트에 W&B 추가하기

원본 트레이닝 스크립트

트레이닝 스크립트에 W&B 추가하기