XGBoost - CoreWeave Docs

이 페이지에서는 XGBoost용 W&B 인테그레이션을 사용하여 그라디언트 부스팅 메트릭, 모델 설정, 특성 중요도, 트레이닝된 부스터를 자동으로 로깅하는 방법을 설명합니다. 이를 통해 XGBoost 실험을 추적, 비교, 재현할 수 있습니다. W&B Python SDK (wandb)에는 XGBoost 트레이닝의 메트릭, 설정, 저장된 부스터를 로깅하는 WandbCallback callback이 있습니다. XGBoost WandbCallback의 출력이 표시된 실시간 W&B 대시보드를 확인하세요.

시작하기

XGBoost 메트릭, 설정 및 부스터 모델을 W&B에 로깅하려면 XGBoost에 WandbCallback을 전달하세요:

import wandb
from wandb.integration.xgboost import WandbCallback
from xgboost import XGBClassifier

...
# wandb run을 시작하세요
with wandb.init() as run:
  # 모델에 WandbCallback을 전달하세요
  bst = XGBClassifier()
  bst.fit(X_train, y_train, callbacks=[WandbCallback(log_model=True)])

XGBoost와 W&B를 사용한 로깅에 대한 자세한 내용은 XGBoost 및 W&B 로깅 노트북을 참조하세요.

`WandbCallback` 레퍼런스

기능

XGBoost 모델에 WandbCallback을 전달하면 다음 작업을 수행합니다:

부스터 모델 설정을 W&B에 로깅합니다.
XGBoost가 수집한 rmse, 정확도 등의 평가 메트릭을 W&B에 로깅합니다.
XGBoost가 수집한 트레이닝 메트릭을 로깅합니다(eval_set에 데이터를 제공한 경우).
최상의 점수와 최상의 반복을 로깅합니다.
트레이닝된 모델을 저장하고 W&B Artifacts에 업로드합니다(log_model = True인 경우).
log_feature_importance=True(기본값)인 경우 특성 중요도 그래프를 로깅합니다.
define_metric=True(기본값)인 경우 최상의 평가 메트릭을 wandb.Run.summary에 캡처합니다.

인수

log_model: (boolean) True이면 모델을 저장하고 W&B Artifacts에 업로드합니다.
log_feature_importance: (boolean) True이면 특성 중요도 막대 그래프를 로깅합니다.
importance_type: (str) 트리 모델의 경우 {weight, gain, cover, total_gain, total_cover} 중 하나입니다. 선형 모델의 경우 weight입니다.
define_metric: (boolean) True(기본값)이면 트레이닝의 마지막 step 대신 최적의 step에서의 모델 성능을 run.summary에 캡처합니다.

WandbCallback 소스 코드를 검토하세요. 더 많은 예시는 GitHub의 예시 저장소를 참조하세요.

하이퍼파라미터를 Sweeps로 조정하세요

W&B Sweeps는 하이퍼파라미터 테스트 실험을 구성, 오케스트레이션, 분석하기 위한 도구 키트입니다. 이 섹션에서는 XGBoost 인테그레이션과 W&B Sweeps를 결합하여 하이퍼파라미터 설정을 검색하는 방법을 보여줍니다. 모델 성능을 개선하려면 트리 깊이와 학습률 같은 하이퍼파라미터를 조정하세요. 이 XGBoost and Sweeps Python script도 사용해 보세요.

​시작하기

​WandbCallback 레퍼런스

​기능

​인수

​하이퍼파라미터를 Sweeps로 조정하세요

시작하기

`WandbCallback` 레퍼런스

기능

인수

하이퍼파라미터를 Sweeps로 조정하세요