Aperçu des graphiques personnalisés

• Code : essayez un exemple de notebook Colab.
• Vidéo : regardez un guide pas à pas en vidéo.
• Exemple : notebook de démonstration rapide avec Keras et Sklearn.

​

Fonctionnement

1. Journaliser les données : depuis votre script, journalisez la configuration et les données de synthèse.
2. Personnaliser le graphique : récupérez les données journalisées à l’aide d’une requête GraphQL. Visualisez ensuite les résultats de votre requête avec Vega, une grammaire de visualisation.
3. Journaliser le graphique : appelez votre propre préréglage depuis votre script avec wandb.plot_table().

​

Journaliser des graphiques depuis un script

​

Préréglages intégrés

• Graphique en courbes
• Nuage de points
• Graphique à barres
• Histogramme
• Courbe PR
• Courbe ROC

wandb.plot.line()Journalisez un graphique en courbes personnalisé, c’est-à-dire une liste ordonnée de points (x,y) reliés entre eux sur des axes x et y arbitraires.

with wandb.init() as run:
  data = [[x, y] for (x, y) in zip(x_values, y_values)]
  table = wandb.Table(data=data, columns=["x", "y"])
  run.log(
      {
          "my_custom_plot_id": wandb.plot.line(
              table, "x", "y", title="Custom Y vs X Line Plot"
          )
      }
  )

Un graphique en courbes journalise des courbes selon deux dimensions quelconques. Si vous représentez deux listes de valeurs l’une en fonction de l’autre, les deux listes doivent contenir exactement le même nombre de valeurs (par exemple, chaque point doit avoir une valeur x et une valeur y).

Voir un exemple de rapport ou essayer un exemple de notebook Google Colab.

wandb.plot.scatter()Journalisez un nuage de points personnalisé, c’est-à-dire une liste de points (x, y) sur deux axes quelconques x et y.

with wandb.init() as run:
  data = [[x, y] for (x, y) in zip(class_x_prediction_scores, class_y_prediction_scores)]
  table = wandb.Table(data=data, columns=["class_x", "class_y"])
  run.log({"my_custom_id": wandb.plot.scatter(table, "class_x", "class_y")})

Vous pouvez l’utiliser pour journaliser des points de nuage sur deux dimensions quelconques. Notez que si vous tracez deux listes de valeurs l’une en fonction de l’autre, les deux listes doivent contenir exactement le même nombre de valeurs (par exemple, chaque point doit avoir un x et un y).

Voir un exemple de rapport ou essayer un exemple de notebook Google Colab.

wandb.plot.bar()Journalisez un graphique à barres personnalisé (une liste de valeurs étiquetées représentées sous forme de barres) :

with wandb.init() as run:
  data = [[label, val] for (label, val) in zip(labels, values)]
  table = wandb.Table(data=data, columns=["label", "value"])
  run.log(
      {
          "my_bar_chart_id": wandb.plot.bar(
              table, "label", "value", title="Custom Bar Chart"
          )
      }
  )

Vous pouvez l’utiliser pour journaliser n’importe quel graphique à barres. Notez que les listes doivent contenir exactement le même nombre d’étiquettes et de valeurs (par exemple, chaque point de données doit avoir une étiquette et une valeur).

Voir un exemple de rapport ou essayer un exemple de notebook Google Colab.

wandb.plot.histogram()Journalisez un histogramme personnalisé (qui répartit une liste de valeurs en intervalles selon leur nombre ou leur fréquence d’occurrence). Par exemple, supposons que vous disposiez d’une liste de scores de confiance des prédictions (scores) et que vous souhaitiez visualiser leur distribution :

with wandb.init() as run:
  data = [[s] for s in scores]
  table = wandb.Table(data=data, columns=["scores"])
  run.log({"my_histogram": wandb.plot.histogram(table, "scores", title=None)})

Vous pouvez l’utiliser pour journaliser n’importe quel histogramme. Notez que data est une liste de listes, conçue pour représenter un tableau 2D de lignes et de colonnes.

Voir un exemple de rapport ou essayer un exemple de notebook Google Colab.

wandb.plot.pr_curve()Créez une courbe précision-rappel en une seule ligne de code :

with wandb.init() as run:
  plot = wandb.plot.pr_curve(ground_truth, predictions, labels=None, classes_to_plot=None)

  run.log({"pr": plot})

Vous pouvez journaliser ce graphique dès que votre code a accès aux éléments suivants :

• Les scores prédits par un modèle (predictions) sur un ensemble d’exemples.
• Les étiquettes de vérité terrain (ground_truth) correspondant à ces exemples.
• labels (facultatif) : une liste des étiquettes ou des noms de classes (labels=["cat", "dog", "bird"...] si l’index d’étiquette 0 correspond à cat, 1 à dog, 2 à bird, etc.).
• classes_to_plot (facultatif) : un sous-ensemble (toujours sous forme de liste) des étiquettes à afficher dans le graphique.

Voir un exemple de rapport ou essayer un exemple de notebook Google Colab.

wandb.plot.roc_curve()Créez une courbe ROC en une seule ligne :

with wandb.init() as run:
  # ground_truth est une liste d’étiquettes réelles, predictions est une liste de scores prédits
  ground_truth = [0, 1, 0, 1, 0, 1]
  predictions = [0.1, 0.4, 0.35, 0.8, 0.7, 0.9]

  # Créer le graphique de la courbe ROC
  # labels est une liste facultative de noms de classes, classes_to_plot est un sous-ensemble facultatif de ces étiquettes à afficher
  plot = wandb.plot.roc_curve(
      ground_truth, predictions, labels=None, classes_to_plot=None
  )

  run.log({"roc": plot})

Vous pouvez journaliser ce graphique dès lors que votre code a accès aux éléments suivants :

• Les scores prédits par un modèle (predictions) sur un ensemble d’exemples.
• Les étiquettes de vérité terrain (ground_truth) correspondant à ces exemples.
• labels (facultatif) : une liste des étiquettes ou des noms de classes (labels=["cat", "dog", "bird"...] si l’index d’étiquette 0 correspond à chat, 1 à chien, 2 à oiseau, etc.).
• classes_to_plot (facultatif) : un sous-ensemble de ces étiquettes (toujours sous forme de liste) à afficher sur le graphique.

Voir un exemple de rapport ou essayer un exemple de notebook Google Colab.

​

Préréglages personnalisés

# Créer un tableau contenant les colonnes à représenter
table = wandb.Table(data=data, columns=["step", "height"])

# Associer les colonnes du tableau aux champs du graphique
fields = {"x": "step", "value": "height"}

# Utiliser le tableau pour alimenter le nouveau preset de graphique personnalisé
# Pour utiliser votre propre preset de graphique enregistré, modifiez vega_spec_name
my_custom_chart = wandb.plot_table(
    vega_spec_name="carey/new_chart",
    data_table=table,
    fields=fields,
)

​

Journaliser des données

• Config : paramètres initiaux de votre expérience (vos variables indépendantes). Cela inclut tous les champs nommés que vous avez journalisés comme clés dans wandb.Run.config au début de l’entraînement. Par exemple, wandb.Run.config.learning_rate = 0.0001.
• Summary : valeurs uniques journalisées pendant l’entraînement (vos résultats ou variables dépendantes). Par exemple, wandb.Run.log({"val_acc" : 0.8}). Si vous écrivez plusieurs fois dans cette clé pendant l’entraînement via wandb.Run.log(), la synthèse prend la dernière valeur de cette clé.
• History : la série temporelle complète du scalaire journalisé est accessible à la requête via le champ history.
• summaryTable : pour journaliser une liste de plusieurs valeurs, utilisez un wandb.Table() afin d’enregistrer ces données, puis interrogez-les dans votre panneau personnalisé.
• historyTable : pour consulter les données d’historique, interrogez historyTable dans votre panneau de graphique personnalisé. Chaque fois que vous appelez wandb.Table() ou journalisez un graphique personnalisé, vous créez un nouveau tableau dans l’historique pour cette étape.

​

Journaliser un tableau personnalisé

with wandb.init() as run:
  # Journaliser un tableau de données personnalisé
  my_custom_data = [[x1, y1, z1], [x2, y2, z2]]
  run.log(
      {"custom_data_table": wandb.Table(data=my_custom_data, columns=["x", "y", "z"])}
  )

​

Personnaliser le graphique

​

Construire la requête GraphQL

• Config récupère les valeurs de configuration de run (hyperparamètres et autres paramètres).
• Summary récupère les valeurs de synthèse. Par défaut, la synthèse d’une clé journalisée avec wandb.Run.log() contient la dernière valeur écrite pour cette clé. Pour utiliser un autre agrégat, appelez wandb.Run.define_metric(..., summary=...) avec "min", "max", "mean", "best" ou "none". Pour définir directement une valeur, affectez-la avec wandb.Run.summary["key"] = value.
• History récupère des séries temporelles scalaires depuis l’historique du run (par exemple, loss ou accuracy à chaque étape). Utilisez history lorsque vous avez besoin de la courbe complète, et pas seulement de la valeur finale.
• summaryTable charge un wandb.Table depuis la synthèse du run. Utilisez-le lorsque le tableau qui vous intéresse est stocké sous forme d’instantané unique dans le run (par exemple, une matrice de confusion journalisée une seule fois à la fin).
• historyTable charge un wandb.Table depuis l’historique du run. Chaque fois que vous journalisez un tableau avec wandb.Run.log(), vous ajoutez à l’historique du run une nouvelle étape qui contient ce tableau. Utilisez historyTable lorsque le tableau évolue au fil du temps ou lorsque vous souhaitez activer le sélecteur d’étape dans l’éditeur de graphiques personnalisés (voir Comment afficher un curseur d’étape dans un graphique personnalisé ?).

• Tracer les colonnes d’un tableau journalisé à chaque étape (par exemple, une courbe PR) : ajoutez historyTable, définissez tableKey sur votre clé journalisée (par exemple, pr_curve), puis associez les colonnes du tableau dans Chart fields. Voir le guide pas à pas des graphiques personnalisés.
• Tracer les colonnes d’un tableau stocké dans la synthèse (par exemple, les scores par classe pour un histogramme composite) : ajoutez summaryTable, puis définissez tableKey sur cette clé (le tutoriel utilise class_scores). Voir Bonus : histogrammes composites.
• Tracer une métrique scalaire au fil des étapes d’entraînement : ajoutez la métrique depuis history. Si vous l’ajoutez uniquement depuis summary, le graphique n’affiche qu’une seule valeur par run.

​

Visualisations personnalisées

​

Modifier Vega

​

Enregistrer des préréglages de graphique

​

Reports et guides

• The W&B Machine Learning Visualization IDE
• Visualiser les modèles NLP basés sur l’attention
• Visualiser l’effet de l’attention sur le flux des gradients
• Journaliser des courbes arbitraires

​

Cas d’utilisation courants

• Personnaliser des graphiques à barres avec des barres d’erreur
• Afficher des métriques de validation de modèle qui nécessitent des coordonnées x-y personnalisées (comme les courbes précision-rappel)
• Superposer, sous forme d’histogrammes, les distributions de données de deux modèles ou expériences différents
• Montrer l’évolution d’une métrique à l’aide d’instantanés pris à plusieurs moments de l’entraînement
• Créer une visualisation unique, pas encore disponible dans W&B, et la partager avec d’autres personnes