TensorFlow

Cette page explique comment intégrer Weights & Biases à TensorFlow pour suivre les expériences, journaliser des métriques et synchroniser les journaux TensorBoard. Appliquez ces méthodes pour capturer les données d’entraînement de vos modèles TensorFlow, personnaliser ce que vous journalisez à l’aide de hooks d’estimateur ou d’une journalisation manuelle, et réutiliser vos flux de travail TensorBoard existants avec le tableau de bord centralisé de Weights & Biases. Utilisez cette intégration si vous avez besoin d’un suivi des expériences plus complet que celui proposé par TensorBoard seul.

Premiers pas

Si vous utilisez déjà TensorBoard, vous pouvez l’intégrer à Weights & Biases. Importez les deux bibliothèques pour que les API Weights & Biases et TensorFlow soient disponibles dans votre script.

import tensorflow as tf
import wandb

Journaliser des métriques personnalisées

Cette section explique comment journaliser des métriques que TensorBoard ne capture pas déjà, afin de suivre des valeurs supplémentaires en plus de vos synthèses TensorBoard standard. Si vous devez journaliser des métriques personnalisées supplémentaires que TensorBoard ne journalise pas, vous pouvez appeler run.log() dans votre code, par exemple run.log({"custom": 0.8}). Weights & Biases désactive l’argument step de run.log() lors de la synchronisation avec TensorBoard. Pour définir un autre compteur de step, journalisez les métriques avec une métrique de step, comme suit :

with wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True) as run:
    run.log({"custom": 0.8, "global_step":global_step}, step=global_step)

Hook pour les estimateurs TensorFlow

Cette section décrit le hook Weights & Biases pour les estimateurs TensorFlow, qui vous permet de contrôler précisément ce que Weights & Biases capture pendant l’entraînement de l’estimateur. Pour mieux contrôler ce qui est journalisé, Weights & Biases fournit également un hook pour les estimateurs TensorFlow. Celui-ci journalise toutes les valeurs tf.summary du graphe.

import tensorflow as tf
import wandb

run = wandb.init(config=tf.FLAGS)

estimator.train(hooks=[wandb.tensorflow.WandbHook(steps_per_log=1000)])
run.finish()

Journaliser manuellement

Si vous n’utilisez pas d’estimateurs ou si vous souhaitez journaliser explicitement certaines synthèses, cette section explique comment envoyer directement les valeurs tf.summary vers Weights & Biases. Pour journaliser des métriques dans TensorFlow, vous pouvez notamment journaliser tf.summary avec le logger TensorFlow :

import wandb
run = wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True)
with tf.Session() as sess:
    # ...
    wandb.tensorflow.log(tf.summary.merge_all())

Avec TensorFlow 2, la méthode recommandée pour entraîner un modèle avec une boucle personnalisée consiste à utiliser tf.GradientTape. Pour plus d’informations, voir le guide pas à pas de TensorFlow sur l’entraînement personnalisé. Pour intégrer Weights & Biases afin de journaliser des métriques dans vos boucles d’entraînement TensorFlow personnalisées, suivez cet extrait :

    with tf.GradientTape() as tape:
        # Obtenir les probabilités
        predictions = model(features)
        # Calculer la perte
        loss = loss_func(labels, predictions)

    # Journaliser les métriques
    run.log({"loss": loss.numpy()})
    # Obtenir les gradients
    gradients = tape.gradient(loss, model.trainable_variables)
    # Mettre à jour les poids
    optimizer.apply_gradients(zip(gradients, model.trainable_variables))

Un exemple complet de personnalisation des boucles d’entraînement dans TensorFlow 2 est disponible.

Différences entre Weights & Biases et TensorBoard

Si vous envisagez d’adopter Weights & Biases en complément ou en remplacement de TensorBoard, cette section présente les principales différences. Weights & Biases a été conçu pour pallier les limites couramment rencontrées par les utilisateurs de TensorBoard. Voici les points sur lesquels Weights & Biases se distingue :

Reproduire des modèles : Weights & Biases facilite l’expérimentation, l’exploration et la reproduction ultérieure de modèles. Weights & Biases capture les métriques, les hyperparamètres et la version du code, et peut enregistrer l’état de votre gestion de versions ainsi que les points de contrôle de vos modèles afin de garantir la reproductibilité de votre projet.
Organisation automatique : lorsque vous reprenez le projet d’un collaborateur, revenez sur un projet après une absence ou vous replongez dans un ancien projet, Weights & Biases vous permet de voir les modèles déjà essayés, ce qui vous évite de relancer inutilement des expériences.
Intégration flexible : ajoutez Weights & Biases à votre projet en installant le paquet Python open source et en ajoutant quelques lignes à votre code. Chaque run produit des métriques journalisées et des enregistrements.
Tableau de bord persistant et centralisé : que vous entraîniez vos modèles sur votre machine locale, sur un cluster partagé de laboratoire ou sur des instances Spot dans le cloud, Weights & Biases envoie vos résultats vers le même tableau de bord centralisé. Vous n’avez plus besoin de copier et d’organiser des fichiers TensorBoard provenant de différentes machines.
Tables : recherchez, filtrez, triez et regroupez les résultats de différents modèles. Vous pouvez examiner les versions des modèles et identifier les plus performants pour différentes tâches.
Outils de collaboration : utilisez Weights & Biases pour organiser vos projets de machine learning. Partagez un lien vers Weights & Biases ou utilisez des équipes privées pour envoyer des résultats vers un projet partagé. Les Reports favorisent la collaboration grâce à des visualisations interactives et à des descriptions en Markdown, que vous pouvez utiliser pour tenir un journal de travail, partager vos constats avec votre superviseur ou les présenter à votre laboratoire ou à votre équipe.

Pour essayer Weights & Biases, créez un compte gratuit.

Exemples

Pour découvrir ces modèles d’intégration appliqués à des projets complets, explorez les exemples suivants :

Exemple MNIST avec les estimateurs TensorFlow.
Exemple Fashion MNIST avec TensorFlow natif.
Tableau de bord Weights & Biases de l’exemple MNIST.
Personnaliser les boucles d’entraînement dans TensorFlow 2 : article et tableau de bord.

Weights & Biases

Guides

Intégrations

Référence

Assistance

Premiers pas

Journaliser des métriques personnalisées

Hook pour les estimateurs TensorFlow

Journaliser manuellement

Différences entre Weights & Biases et TensorBoard

Exemples

​Premiers pas

​Journaliser des métriques personnalisées

​Hook pour les estimateurs TensorFlow

​Journaliser manuellement

​Différences entre Weights & Biases et TensorBoard

​Exemples

Premiers pas

Journaliser des métriques personnalisées

Hook pour les estimateurs TensorFlow

Journaliser manuellement

Différences entre Weights & Biases et TensorBoard

Exemples