TensorFlow - CoreWeave Docs

Cette page explique comment intégrer W&B à TensorFlow pour suivre les expériences, consigner des métriques et synchroniser les journaux TensorBoard. Appliquez ces méthodes pour capturer les données d’entraînement de vos modèles TensorFlow, personnaliser ce que vous journalisez à l’aide de hooks d’estimateur ou d’une journalisation manuelle, et réutiliser vos flux de travail TensorBoard existants avec le tableau de bord centralisé de W&B. Utilisez cette intégration si vous avez besoin d’un suivi des expériences plus complet que celui proposé par TensorBoard seul.

Premiers pas

Si vous utilisez déjà TensorBoard, vous pouvez l’intégrer à W&B. Importez les deux bibliothèques pour que les API W&B et TensorFlow soient disponibles dans votre script.

import tensorflow as tf
import wandb

Consigner des métriques personnalisées

Cette section explique comment consigner des métriques que TensorBoard ne capture pas déjà, afin de suivre des valeurs supplémentaires en plus de vos synthèses TensorBoard standard. Si vous devez consigner des métriques personnalisées supplémentaires que TensorBoard ne consigne pas, vous pouvez appeler run.log() dans votre code, par exemple run.log({"custom": 0.8}). W&B désactive l’argument step de run.log() lors de la synchronisation avec TensorBoard. Pour définir un autre compteur de step, consignez les métriques avec une métrique de step, comme suit :

with wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True) as run:
    run.log({"custom": 0.8, "global_step":global_step}, step=global_step)

Hook pour les estimateurs TensorFlow

Cette section décrit le hook W&B pour les estimateurs TensorFlow, qui vous permet de contrôler précisément ce que W&B capture pendant l’entraînement de l’estimateur. Pour mieux contrôler ce qui est journalisé, W&B fournit également un hook pour les estimateurs TensorFlow. Celui-ci journalise toutes les valeurs tf.summary du graphe.

import tensorflow as tf
import wandb

run = wandb.init(config=tf.FLAGS)

estimator.train(hooks=[wandb.tensorflow.WandbHook(steps_per_log=1000)])
run.finish()

Journaliser manuellement

Si vous n’utilisez pas d’estimateurs ou si vous souhaitez journaliser explicitement certaines synthèses, cette section explique comment envoyer directement les valeurs tf.summary vers W&B. Pour consigner des métriques dans TensorFlow, vous pouvez notamment journaliser tf.summary avec le logger TensorFlow :

import wandb
run = wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True)
with tf.Session() as sess:
    # ...
    wandb.tensorflow.log(tf.summary.merge_all())

Avec TensorFlow 2, la méthode recommandée pour entraîner un modèle avec une boucle personnalisée consiste à utiliser tf.GradientTape. Pour plus d’informations, voir le guide pas à pas de TensorFlow sur l’entraînement personnalisé. Pour intégrer W&B afin de consigner des métriques dans vos boucles d’entraînement TensorFlow personnalisées, suivez cet extrait :

    with tf.GradientTape() as tape:
        # Obtenir les probabilités
        predictions = model(features)
        # Calculer la perte
        loss = loss_func(labels, predictions)

    # Journaliser les métriques
    run.log({"loss": loss.numpy()})
    # Obtenir les gradients
    gradients = tape.gradient(loss, model.trainable_variables)
    # Mettre à jour les poids
    optimizer.apply_gradients(zip(gradients, model.trainable_variables))

Un exemple complet de personnalisation des boucles d’entraînement dans TensorFlow 2 est disponible.

Différences entre W&B et TensorBoard

Si vous envisagez d’adopter W&B en complément ou en remplacement de TensorBoard, cette section présente les principales différences. W&B a été conçu pour pallier les limitations fréquemment rencontrées par les utilisateurs de TensorBoard. Voici les points sur lesquels W&B se distingue :

Reproduire des modèles : W&B facilite l’expérimentation, l’exploration et la reproduction ultérieure des modèles. W&B capture les métriques, les hyperparamètres et la version du code, et peut enregistrer l’état de votre gestion de versions ainsi que les points de contrôle de vos modèles afin de garantir la reproductibilité de votre projet.
Organisation automatique : lorsque vous reprenez le projet d’un collaborateur, que vous revenez après une absence ou que vous vous replongez dans un ancien projet, W&B vous permet de voir les modèles déjà essayés afin d’éviter de relancer inutilement des expériences.
Intégration flexible : ajoutez W&B à votre projet en installant le package Python open source et en ajoutant quelques lignes à votre code. Chaque run produit des métriques et des enregistrements journalisés.
Tableau de bord persistant et centralisé : que vous entraîniez vos modèles sur votre machine locale, sur un cluster partagé de laboratoire ou sur des instances Spot dans le cloud, W&B envoie vos résultats vers le même tableau de bord centralisé. Plus besoin de copier et d’organiser des fichiers TensorBoard provenant de différentes machines.
Tables : recherchez, filtrez, triez et regroupez les résultats de différents modèles. Vous pouvez examiner les versions des modèles et identifier les modèles les plus performants pour différentes tâches.
Outils de collaboration : utilisez W&B pour organiser vos projets de machine learning. Partagez un lien vers W&B ou utilisez des équipes privées pour envoyer des résultats vers un projet partagé. Les Reports favorisent la collaboration grâce à des visualisations interactives et à des descriptions en Markdown, que vous pouvez utiliser pour tenir un journal de travail, partager vos constats avec votre superviseur ou les présenter à votre laboratoire ou à votre équipe.

Pour essayer W&B, créez un compte gratuit.

Exemples

Pour découvrir ces modèles d’intégration appliqués à des projets complets, explorez les exemples suivants :

Exemple MNIST avec les estimateurs TensorFlow.
Exemple Fashion MNIST avec TensorFlow natif.
Tableau de bord W&B de l’exemple MNIST.
Personnaliser les boucles d’entraînement dans TensorFlow 2 : article et tableau de bord.

​Premiers pas

​Consigner des métriques personnalisées

​Hook pour les estimateurs TensorFlow

​Journaliser manuellement

​Différences entre W&B et TensorBoard

​Exemples