Hugging Face - CoreWeave Docs

Ce tutoriel vous montre comment utiliser l’intégration W&B avec Hugging Face Transformers pour suivre automatiquement les métriques d’entraînement et d’évaluation, les hyperparamètres et les statistiques système pendant le fine-tuning d’un modèle. Vous apprendrez également à visualiser les performances de votre modèle dans le tableau de bord W&B, afin de comparer vos expériences et de faire évoluer vos modèles en toute confiance. Vous pouvez comparer les hyperparamètres, les métriques de sortie et les statistiques système, comme l’utilisation du GPU, d’un modèle à l’autre.

Pourquoi utiliser W&B

Tableau de bord unifié : un dépôt central pour toutes les métriques et prédictions de vos modèles.
Léger : aucune modification de code n’est nécessaire pour l’intégration avec Hugging Face.
Accessible : gratuit pour les particuliers et les équipes académiques.
Sécurisé : tous les projets sont privés par défaut.
Éprouvé : utilisé par les équipes de machine learning d’OpenAI, Toyota, Lyft et bien d’autres.

W&B est en quelque sorte le GitHub des modèles de machine learning. Enregistrez vos expériences de machine learning dans votre tableau de bord privé et hébergé. Expérimentez en toute confiance : W&B enregistre toutes les versions de vos modèles, quel que soit l’endroit où vous exécutez vos scripts. Les intégrations légères de W&B fonctionnent avec n’importe quel script Python. Créez un compte W&B gratuit pour commencer à suivre et à visualiser vos modèles. Dans le dépôt Hugging Face Transformers, W&B a instrumenté le Trainer pour consigner automatiquement les métriques d’entraînement et d’évaluation dans W&B à chaque étape de journalisation. Pour découvrir en détail le fonctionnement de l’intégration, consultez ce Hugging Face + W&B Report.

Installer, importer et se connecter

Cette section permet de configurer l’environnement nécessaire pour suivre ce tutoriel. Installez les bibliothèques Hugging Face et W&B, puis téléchargez le jeu de données GLUE et le script d’entraînement utilisés dans ce tutoriel :

Hugging Face Transformers : modèles et jeux de données de traitement du langage naturel.
W&B : suivi des expériences et visualisation.
Jeu de données GLUE : jeu de données de référence pour l’évaluation de la compréhension du langage.
Script GLUE : script d’entraînement de modèle pour la classification de séquences.

!pip install datasets wandb evaluate accelerate -qU
!wget https://raw.githubusercontent.com/huggingface/transformers/refs/heads/main/examples/pytorch/text-classification/run_glue.py

# le script run_glue.py nécessite la version de dév de transformers
!pip install -q git+https://github.com/huggingface/transformers

Avant de continuer, vous devez vous inscrire pour créer un compte gratuit. Un compte est requis pour envoyer les données de votre run vers un tableau de bord W&B.

Ajouter votre clé API

En vous authentifiant avec votre clé API, vous associez ce notebook à votre compte W&B afin que vos runs soient journalisés dans vos projets. Une fois inscrit, exécutez la cellule suivante, puis cliquez sur le lien pour obtenir votre clé API et authentifier ce notebook.

import wandb
wandb.login()

Vous pouvez également définir des variables d’environnement pour personnaliser les données que W&B journalise pendant l’entraînement. Par exemple, pour journaliser à la fois les gradients et les paramètres, définissez WANDB_WATCH=all. Consultez le guide d’intégration Hugging Face pour obtenir la liste complète des options.

# Facultatif : journaliser les gradients et les paramètres
%env WANDB_WATCH=all

Entraîner le modèle

Une fois l’environnement configuré et l’authentification effectuée, vous pouvez lancer un run d’entraînement. Exécutez le script d’entraînement téléchargé run_glue.py : l’entraînement est automatiquement suivi dans le tableau de bord W&B. Ce script effectue le fine-tuning de BERT sur le Microsoft Research Paraphrase Corpus (des paires de phrases accompagnées d’annotations humaines indiquant si elles sont sémantiquement équivalentes).

%env WANDB_PROJECT=huggingface-demo
%env TASK_NAME=MRPC

!python run_glue.py \
  --model_name_or_path bert-base-uncased \
  --task_name $TASK_NAME \
  --do_train \
  --do_eval \
  --max_seq_length 256 \
  --per_device_train_batch_size 32 \
  --learning_rate 2e-4 \
  --num_train_epochs 3 \
  --output_dir /tmp/$TASK_NAME/ \
  --overwrite_output_dir \
  --logging_steps 50

Visualiser les résultats dans le tableau de bord

Une fois l’entraînement lancé, vous pouvez surveiller les métriques en temps réel. Cliquez sur le lien affiché par la cellule précédente, ou accédez à wandb.ai pour voir vos résultats arriver en direct. Le lien permettant d’afficher votre run dans le navigateur apparaît une fois toutes les dépendances chargées. Repérez la sortie suivante : « wandb: View run at [URL to your unique run] »

Visualiser les performances du modèle

Comparez vos expériences, examinez vos résultats en détail et visualisez des données de grande dimension.

Comparer des architectures

Voici un exemple de comparaison entre BERT et DistilBERT. Les graphiques en courbes générés automatiquement montrent l’influence des différentes architectures sur la précision d’évaluation tout au long de l’entraînement.

Suivre les informations clés par défaut

Cette section décrit ce que W&B capture automatiquement, afin que vous sachiez quelles données sont disponibles dans votre tableau de bord sans configuration supplémentaire. W&B enregistre un nouveau run pour chaque expérience. Voici les informations enregistrées par défaut :

Hyperparamètres : W&B enregistre les paramètres de votre modèle dans Config.
Métriques du modèle : W&B enregistre les séries temporelles des métriques transmises en continu à Log.
Journaux du terminal : W&B enregistre les sorties de la ligne de commande et les affiche dans un onglet.
Métriques système : utilisation du GPU et du CPU, mémoire et température.

En savoir plus

Guides pas à pas en vidéo sur YouTube

​Pourquoi utiliser W&B

​Installer, importer et se connecter

​Ajouter votre clé API

​Entraîner le modèle

​Visualiser les résultats dans le tableau de bord

​Visualiser les performances du modèle

​Comparer des architectures

​Suivre les informations clés par défaut

​En savoir plus