이 페이지에서는 사용자 환경에서 실행되는 스케줄러에 엔진을 설정하는 방법을 설명합니다. 전체 YAML 예시는 스윕 스케줄러 예시를 참조하세요.
엔진 선택
필요한 검색 방법과 맞춤 설정 옵션에 따라 엔진을 선택하세요.
Optuna 또는 Ax를 사용하면 다음 작업을 할 수 있습니다.
- 여러 목표를 정의하여 둘 이상의 메트릭을 최적화합니다.
- 맞춤형 스윕 수준 중지 함수를 정의하여 스케줄러가 새 run 제안을 중지하는 시점을 제어합니다.
의존성 설치
사용하는 엔진에 맞는 추가 의존성을 포함하여 Weights & Biases Python SDK 버전 0.31.0 이상을 설치하세요. 설치 명령어는 스케줄러를 실행하는 환경에서 실행해야 합니다.- Weights & Biases
- Optuna
- Ax
Python 3.10 이상을 사용하세요. 스케줄러 환경에
sweeps>=0.2.0이 포함되도록 sweeps extra를 지정하여 SDK를 설치하세요.최적화 설정
엔진에 사용할 검색 전략, 목표, 검색 공간을 설정하세요. 기본 제공 Weights & Biases 엔진은 스윕 설정을 사용합니다. Optuna나 Ax를 사용하는 경우에는 Optuna study 또는 Ax client를 설정하는 Python 함수를 제공할 수 있습니다.검색 전략 설정하기
scheduler.engine을 wandb, optuna 또는 ax로 설정하세요.
Optuna와 Ax에서는 맞춤형 옵티마이저 함수를 반드시 지정할 필요가 없습니다. scheduler.engine 값만 바꾸면 엔진을 전환할 수 있으며, 스윕 설정에 정의된 검색 공간과 목표를 그대로 사용할 수 있습니다. 여기에는 metrics로 정의한 여러 목표도 포함됩니다.
맞춤형 옵티마이저 함수를 사용하려면 scheduler.source에 Python 파일 이름을, scheduler.optimizer에 함수 이름을 설정하세요. Optuna에서는 scheduler.search_space로 맞춤형 검색 공간을 정의할 수도 있습니다.
- Weights & Biases
- Optuna
- Ax
스윕 설정으로 기본 제공 Weights & Biases 엔진을 설정하세요.각 검색 방법에 대한 자세한 내용은 검색 방법을 참조하세요.
method를 random, grid, bayes 중 하나로 설정하세요. 엔진은 method, metric, parameters를 바탕으로 스윕 run에 사용할 설정을 선택합니다.예를 들어, 기본 제공 Weights & Biases 엔진으로 베이지안 탐색을 설정하려면 다음과 같이 하세요.sweep.yaml
여러 목표 정의하기
Optuna 또는 Ax를 사용하는 경우metrics(복수형)를 사용하여 여러 목표를 정의할 수 있습니다.
wandb sweep으로 스윕을 생성하면 Weights & Biases가 스윕 설정을 저장합니다. 스케줄러는 시작될 때 이 설정을 조회한 후 SweepInfo 객체에 담아 맞춤형 옵티마이저 함수에 전달합니다.
저장된 스윕 설정에 액세스하려면 sweep_info.config를 사용하세요.
기본 제공 Weights & Biases 엔진은
metric으로 정의하는 단일 목표만 지원합니다.- Optuna
- Ax
Optuna로 다중 목표 스윕을 구성하려면 다음 데모 스크립트는 제안된 이렇게 생성된 study는
metrics 목록에 각 목표를 정의하세요. 그런 다음 wandb.sdk.sweeps.scheduler.optuna의 sweep_directions() 도우미 함수를 사용해 각 목표를 동일한 순서의 Optuna study 방향으로 변환하세요.예를 들어, 다음 스윕은 검증 손실을 최소화하고 정확도를 최대화합니다.sweep.yaml
learning_rate 및 batch_size 값을 읽고, 두 개의 합성 목적 함수 값을 계산한 다음 run에 로깅합니다. 최종적으로 기록된 값은 run summary에 표시되며, 스케줄러는 여기에서 이 값을 조회할 수 있습니다.train.py
optimizer.py 파일에서 Optuna study를 생성할 때 sweep_info.config에 저장된 스윕 설정을 sweep_directions()에 전달하세요.optimizer.py
validation_loss를 최소화하고 accuracy를 최대화합니다.조건부 검색 공간 정의하기
scheduler.search_space는 Optuna 엔진에서만 지원됩니다.scheduler.search_space로 Python에서 조건부 매개변수를 정의할 수 있습니다. 예를 들어 모델 유형마다 서로 다른 하이퍼파라미터를 정의하거나, 앞에서 선택한 값을 기반으로 매개변수 개수를 다르게 지정할 수 있습니다.
scheduler.search_space에는 scheduler.source로 지정한 파일에 있는 함수의 이름을 설정하세요. 스케줄러는 Optuna 시도(trial)를 이 함수에 전달하고, 함수가 반환한 딕셔너리를 run 구성으로 사용합니다.
scheduler.search_space를 설정하면 스케줄러는 최상위 parameters 정의를 무시합니다. run에 전달할 매개변수는 모두 Python 함수 안에 정의하세요.
예를 들어 다음과 같은 스윕 설정이 있다고 가정해 보겠습니다.
sweep.yaml
define_search_space(trial)을 호출하고, 반환된 딕셔너리를 run 구성으로 사용합니다.
search.py
model과 learning_rate를 받습니다. model="transformer"인 run은 여기에 더해 num_layers와 num_heads도 받고, model="linear"인 run은 대신 regularization을 받습니다.
중지 설정
중지는 개별 run 단위로 적용하거나 스윕 전체에 적용할 수 있습니다. 개별 run 조기 중지는 유용한 결과를 낼 가능성이 낮은 run을 종료합니다. 스윕 수준 중지는 특정 조건이 충족되면 스케줄러가 더 이상 새 run을 제안하지 않도록 합니다.개별 run 중지
run의 진행 상황을 평가하려면 트레이닝 전반에 걸쳐 목표 메트릭의 중간값을 로깅하세요. run 중지 여부를 결정하는 방식은 엔진마다 다릅니다.최상위
early_terminate 키는 기본 제공 Weights & Biases 엔진에만 적용됩니다. Optuna나 Ax를 사용하는 경우에는 해당 엔진 자체의 조기 중지 메커니즘을 설정하세요.- Weights & Biases
- Optuna
- Ax
중간 결과를 기반으로 조기 중단을 적용하는 하이퍼파라미터 최적화에는 Hyperband를 사용하세요.설정 옵션은
early_terminate.type을 hyperband로 설정하고, min_iter로 최소 반복 횟수를 지정하세요.예를 들어, 다음 스윕 설정은 Hyperband를 사용하여 최소 3회 반복 후 조기 중단을 수행합니다.sweep.yaml
early_terminate를 참조하세요.스윕 중지
스윕 수준 중지는 스케줄러가 새 run 제안을 멈추는 시점을 제어합니다.run_cap을 사용하면 어떤 엔진에서든 run 수의 고정 최댓값을 설정할 수 있습니다. Optuna나 Ax를 사용하는 경우에는 현재 최적화 상태를 평가하는 중지 함수를 반환할 수도 있습니다.
다음 예시에서는 스케줄러가 검색 전략을 제어하므로
method: random은 무시됩니다. 하지만 Weights & Biases 스윕 스키마에서 method는 필수 항목입니다.- Optuna
- Ax
스윕 단위 중지를 활성화하려면 스케줄러는 결과를 처리한 후 현재 study를 중지 함수에 전달합니다. 이 함수가 이 예제에서 중지 함수는 성공적으로 완료된 시도만 셉니다. 세 번째 시도가 완료되면 각 run이 종료되면 스케줄러는 해당 run에서 로깅된 손실 값을 Optuna study에 전달합니다. 시도가 세 번 완료되면 중지 함수가
scheduler.optimizer에 지정한 최적화 함수가 Optuna study와 중지 함수를 튜플로 반환해야 합니다:True를 반환하면 스윕이 중지되고, False를 반환하면 계속해서 새 run을 제안합니다.예를 들어, 다음 스윕 설정은 x를 검색하고, 스윕을 run 20개로 제한하며, Optuna 스케줄러가 optimizer.py 파일의 make_study()를 호출하도록 지정합니다.sweep.yaml
run_cap은 중지 함수가 먼저 스윕을 종료하지 않을 경우를 대비한 대체 한도 역할을 합니다.다음으로 Optuna study와 중지 함수를 정의하세요. make_study()는 시드가 지정된 무작위 샘플러를 설정하고, stop_after_three_completed_trials()와 함께 study를 반환합니다.optimizer.py
True를 반환하여 스케줄러가 더 이상 설정을 제안하지 않도록 합니다. 실패했거나, 가지치기되었거나, 실행 중인 시도는 개수에 포함되지 않습니다.마지막으로, 각 스윕 run이 평가할 목적 함수를 정의합니다. 트레이닝 스크립트는 제안된 x 값을 조회하고 손실을 계산한 다음, 그 손실을 Weights & Biases에 로깅합니다.train.py
True를 반환하고, 스케줄러는 더 이상 새 run을 제안하지 않습니다. 이미 대기열에 추가되었거나 실행 중인 run은 그대로 진행되어 종료될 수 있습니다.스케줄러 재시작 처리
스윕 스케줄러는 기존 스윕을 대상으로 동작하므로, 새 스윕을 만들지 않고도 스케줄러를 중지했다가 다시 시작할 수 있습니다. 스케줄러는 시작될 때마다 스윕의 기존 run 데이터를 바탕으로 최적화 이력을 재구성한 다음 최적화 루프를 이어서 진행합니다. 저장된 옵티마이저 체크포인트에서 엔진을 복원하지는 않습니다. 스케줄러가 시작되거나 재시작되면 맞춤형 옵티마이저 함수를 호출하여 새 엔진 인스턴스를 생성합니다. 함수가 실행될 때마다 새로운 Optuna study 또는 Ax client를 반환하세요. 별도의 옵티마이저 체크포인트를 로드하거나 이전 스케줄러 프로세스의 엔진 인스턴스를 재사용하지 마세요.scheduler.source 파일을 사용하는 경우, 스케줄러는 시작될 때마다 해당 파일의 현재 내용을 로드합니다. 따라서 재시작하기 전에 파일을 업데이트하여 버그를 수정하거나 맞춤형 optimizer 또는 search_space 함수를 변경할 수 있습니다. 이러한 변경은 이후 제안에 영향을 줄 수 있으므로, 최적화를 재현해야 한다면 스케줄러 세션마다 사용한 source 파일의 버전을 보존하세요.