XGBoost - CoreWeave Docs

Cette page explique comment utiliser l’intégration W&B avec XGBoost pour consigner automatiquement les métriques de gradient boosting, les configurations de modèle, l’importance des variables et les boosters entraînés, afin de suivre, de comparer et de reproduire vos expériences XGBoost. Le SDK Python W&B (wandb) fournit le callback WandbCallback, qui journalise les métriques, les configurations et les boosters enregistrés lors de l’entraînement avec XGBoost. Consultez un tableau de bord W&B en direct qui présente les sorties du WandbCallback de XGBoost.

Premiers pas

Pour journaliser les métriques, les configurations et les modèles booster XGBoost dans W&B, passez WandbCallback à XGBoost :

import wandb
from wandb.integration.xgboost import WandbCallback
from xgboost import XGBClassifier

...
# Démarrer un run wandb
with wandb.init() as run:
  # Transmettre WandbCallback au modèle
  bst = XGBClassifier()
  bst.fit(X_train, y_train, callbacks=[WandbCallback(log_model=True)])

Pour découvrir en détail la journalisation avec XGBoost et W&B, consultez le notebook sur la journalisation avec XGBoost et W&B.

Référence de `WandbCallback`

Fonctionnalités

Transmettre WandbCallback à un modèle XGBoost permet de :

Journaliser dans W&B la configuration du modèle booster.
Journaliser dans W&B les métriques d’évaluation collectées par XGBoost, telles que rmse, la précision, etc.
Journaliser les métriques d’entraînement collectées par XGBoost (si vous fournissez des données à eval_set).
Journaliser le meilleur score et la meilleure itération.
Enregistrer et téléverser votre modèle entraîné dans W&B Artifacts (lorsque log_model = True).
Journaliser le graphique d’importance des variables lorsque log_feature_importance=True (par défaut).
Capturer la meilleure métrique d’évaluation dans wandb.Run.summary lorsque define_metric=True (par défaut).

Arguments

log_model : (booléen) si True, enregistre le modèle et le téléverse dans W&B Artifacts.
log_feature_importance : (booléen) si True, journalise un diagramme en barres de l’importance des variables.
importance_type : (str) l’une des valeurs {weight, gain, cover, total_gain, total_cover} pour un modèle à base d’arbres, ou weight pour un modèle linéaire.
define_metric : (booléen) si True (par défaut), capture dans votre run.summary les performances du modèle à la meilleure étape de l’entraînement, plutôt qu’à la dernière.

Consultez le code source de WandbCallback. Pour d’autres exemples, consultez le dépôt d’exemples sur GitHub.

Ajuster vos hyperparamètres avec Sweeps

W&B Sweeps est une boîte à outils permettant de configurer, d’orchestrer et d’analyser des expériences de test d’hyperparamètres. Cette section explique comment associer l’intégration XGBoost à W&B Sweeps pour explorer différentes configurations d’hyperparamètres. Pour améliorer les performances du modèle, ajustez des hyperparamètres tels que la profondeur des arbres et le taux d’apprentissage. Vous pouvez également essayer ce script Python XGBoost et Sweeps.

​Premiers pas

​Référence de WandbCallback

​Fonctionnalités

​Arguments

​Ajuster vos hyperparamètres avec Sweeps

Premiers pas

Référence de `WandbCallback`

Fonctionnalités

Arguments

Ajuster vos hyperparamètres avec Sweeps