Légendes sémantiques des graphiques de runs

Créez des graphiques en courbes et des légendes visuellement parlants en attribuant des couleurs à vos runs W&B en fonction de métriques ou de paramètres de configuration. Repérez les tendances et les schémas récurrents entre vos expériences en colorant les runs selon leurs métriques de performances (valeurs les plus élevées, les plus basses ou les plus récentes). W&B répartit automatiquement vos runs dans des buckets associés chacun à une couleur, en fonction des valeurs du paramètre sélectionné. Pour colorer vos runs en fonction d’une métrique ou de la configuration, vous devez configurer deux paramètres :

Activer les couleurs basées sur des clés

Accédez à votre projet W&B.
Sélectionnez l’onglet Workspace dans la barre latérale du projet.
Cliquez sur l’icône Settings dans le coin supérieur droit.
Dans le volet latéral, sélectionnez Runs.
Dans la section Run colors, sélectionnez Key-based colors.
Configurez les options suivantes :
- Dans la liste déroulante Clé, sélectionnez la métrique à utiliser pour attribuer des couleurs aux runs.
- Dans la liste déroulante valeur Y, sélectionnez la valeur Y à utiliser pour attribuer des couleurs aux runs.
- Choisissez un nombre de buckets compris entre 2 et 8.

Lorsque vous utilisez des couleurs basées sur des clés, l’option permettant de personnaliser les couleurs des runs n’est pas disponible.

Les sections suivantes expliquent comment définir la métrique et la valeur Y, et comment personnaliser les buckets utilisés pour attribuer des couleurs aux runs.

Exemple : coloration basée sur des clés avec la métrique de perte

Dans cet exemple de graphique, les runs sont colorés selon un dégradé : les couleurs les plus foncées correspondent aux valeurs de perte les plus élevées, et les couleurs les plus claires aux valeurs de perte les plus faibles. La valeur Y est définie sur latest afin d’utiliser la valeur de perte la plus récente de chaque run.

Définir une métrique

Les options de métrique proposées dans la liste déroulante Clé proviennent des paires clé-valeur que vous journalisez dans W&B et des métriques par défaut définies par W&B.

Métriques par défaut

Relative Time (Process) : durée relative du run, mesurée en secondes depuis son démarrage.
Relative Time (Wall) : durée relative du run, mesurée en secondes depuis son démarrage et ajustée en fonction du temps réel écoulé.
Wall Time : heure réelle du run, mesurée en secondes depuis l’epoch Unix.
Step : numéro de step du run, généralement utilisé pour suivre la progression de l’entraînement ou de l’évaluation.

Métriques personnalisées

Colorez les runs et créez des légendes de graphique pertinentes à partir des métriques personnalisées journalisées par vos scripts d’entraînement ou d’évaluation. Les métriques personnalisées sont journalisées sous forme de paires clé-valeur, où la clé correspond au nom de la métrique et la valeur à la valeur de la métrique. Par exemple, l’extrait de code suivant journalise la précision (clé "acc") et la perte (clé "loss") dans une boucle d’entraînement :

import wandb
import random

epochs = 10

with wandb.init(project="basic-intro") as run:
  # Ce bloc simule une boucle d’entraînement qui consigne des métriques
  offset = random.random() / 5
  for epoch in range(2, epochs):
      acc = 1 - 2 ** -epoch - random.random() / epoch - offset
      loss = 2 ** -epoch + random.random() / epoch + offset

      # Consigner dans W&B les métriques de votre script
      run.log({"acc": acc, "loss": loss})

Dans le menu déroulant Clé, les options "acc" et "loss" sont toutes deux disponibles.

Définir une clé de configuration

Les options de configuration de votre menu déroulant Clé proviennent des paires clé-valeur que vous transmettez au paramètre config lors de l’initialisation d’un run W&B. Les clés de configuration servent généralement à journaliser les hyperparamètres ou d’autres réglages utilisés dans vos scripts d’entraînement ou d’évaluation.

import wandb

config = {
  "learning_rate": 0.01,
  "batch_size": 32,
  "optimizer": "adam"
}

with wandb.init(project="basic-intro", config=config) as run:
  # Placez votre code d'entraînement ici
  pass

Dans le menu déroulant Clé, les options disponibles sont "learning_rate", "batch_size" et "optimizer".

Définir une valeur Y

Vous pouvez choisir parmi les options suivantes :

Latest : détermine la couleur en fonction de la valeur Y au dernier step journalisé pour chaque ligne.
Max : couleur basée sur la valeur Y la plus élevée journalisée pour la métrique.
Min : couleur basée sur la valeur Y la plus basse journalisée pour la métrique.

Personnaliser les buckets

Les buckets sont des plages de valeurs que W&B utilise pour classer les runs en fonction de la métrique ou de la clé de configuration que vous sélectionnez. Les buckets sont répartis uniformément sur la plage de valeurs de la métrique ou de la clé de configuration spécifiée, et une couleur unique est attribuée à chaque bucket. Les runs dont la valeur se situe dans la plage d’un bucket s’affichent dans la couleur de ce bucket. Prenons l’exemple suivant :

Clé est définie sur "Accuracy" (abrégé en "acc").
valeur Y est définie sur "Max"

Avec cette configuration, W&B colore chaque run en fonction de sa valeur de précision. Les couleurs vont d’un jaune clair à une teinte foncée. Les couleurs claires correspondent aux valeurs de précision les plus basses, tandis que les couleurs foncées correspondent aux valeurs de précision les plus élevées. Six buckets sont définis pour la métrique, chacun représentant une plage de valeurs de précision. Les plages suivantes sont définies dans la section Buckets :

Bucket 1 : (Min - 0.7629)
Bucket 2 : (0.7629 - 0.7824)
Bucket 3 : (0.7824 - 0.8019)
Bucket 4 : (0.8019 - 0.8214)
Bucket 5 : (0.8214 - 0.8409)
Bucket 6 : (0.8409 - Max)

Dans le graphique en courbes ci-dessous, le run ayant la précision la plus élevée (0.8232) apparaît en violet foncé (Bucket 5), tandis que le run ayant la précision la plus faible (0.7684) apparaît en orange clair (Bucket 2). Les autres runs sont colorés en fonction de leur valeur de précision, le dégradé de couleurs reflétant leurs performances relatives.

​Activer les couleurs basées sur des clés

​Exemple : coloration basée sur des clés avec la métrique de perte

​Définir une métrique

​Métriques par défaut

​Métriques personnalisées

​Définir une clé de configuration

​Définir une valeur Y

​Personnaliser les buckets

Activer les couleurs basées sur des clés

Exemple : coloration basée sur des clés avec la métrique de perte

Définir une métrique

Métriques par défaut

Métriques personnalisées

Définir une clé de configuration

Définir une valeur Y

Personnaliser les buckets