Épingler et comparer des runs

• Runs épinglés : épinglez des runs de n’importe quel projet de votre workspace pour qu’ils restent visibles en haut de la liste des runs. Vous pouvez épingler jusqu’à 20 runs dans un workspace, y compris des runs provenant d’autres projets.
• Run de référence : désignez un run de référence comme point de comparaison. Le run de référence est toujours visible dans le workspace et en haut de la liste des runs. Dans le tableau des runs, les écarts des métriques de synthèse montrent comment chaque run se situe par rapport à la référence. Dans les graphiques en courbes, la référence s’affiche avec un style distinct pour faciliter la comparaison.

• Comparer de nouvelles expériences à votre modèle en production.
• Comparer des runs entre projets.
• Définir une référence pour vos expériences afin d’évaluer les performances des nouveaux runs par rapport à celle-ci.
• Suivre plusieurs modèles candidats pendant la phase d’expérimentation.
• Déterminer si les nouveaux runs surpassent vos meilleurs résultats.

​

Épingler des runs

1. Accédez à votre workspace.
2. Dans le sélecteur de runs ou le tableau des runs, repérez le run que vous souhaitez épingler.
3. Cliquez sur le menu action (), puis sélectionnez Pin run.

​

Comparer des runs entre projets

1. Accédez au workspace de votre projet.
2. Cliquez sur le bouton Select runs from another project (petit carré aux coins arrondis avec une flèche diagonale) en haut du sélecteur de runs de votre workspace ou du tableau des runs.

3. Dans la fenêtre modale, sélectionnez un projet dans la liste déroulante Source project.
4. Recherchez parmi les runs du projet source celui que vous souhaitez comparer. Vous pouvez effectuer la recherche par nom de run ou par ID unique.
5. Cochez la case en regard de chaque run à comparer, puis cliquez sur Épingler des runs.

​

Gérer et comparer un run de référence

​

Définir un run de référence

1. Accédez à votre workspace.
2. Dans le sélecteur de runs ou le tableau des runs, trouvez le run que vous souhaitez utiliser comme référence.
3. Cliquez sur le menu action (), puis sélectionnez Set as baseline.

​

Modifier le run de référence

1. Accédez à votre workspace.
2. Dans le sélecteur de runs ou le tableau des runs, trouvez le run que vous souhaitez utiliser comme nouvelle référence.
3. Cliquez sur le menu action (), puis sélectionnez Replace baseline.
   Si l’élément de menu est inactif, vérifiez qu’au moins un emplacement d’épinglage est disponible. Si nécessaire, désépinglez un run en cliquant sur l’icône d’épingle circulaire située à côté de celui-ci.
4. Le nouveau run devient la référence, et l’ancienne référence est automatiquement épinglée pour que vous puissiez la retrouver facilement. Vous pouvez ensuite la désépingler, si vous le souhaitez, en cliquant sur son icône d’épingle.

​

Retirer la désignation de référence

1. Accédez à votre workspace.
2. Dans le sélecteur de runs ou le tableau des runs, recherchez le run de référence actuel.
3. Cliquez sur le menu action (), puis sélectionnez Remove baseline.
   Si l’élément de menu est désactivé, vérifiez qu’au moins un emplacement d’épinglage est disponible. Si nécessaire, désépinglez un run épinglé en cliquant sur l’icône d’épingle circulaire située à côté de celui-ci.
4. L’ancienne référence est automatiquement épinglée pour que vous puissiez la retrouver facilement. Si vous le souhaitez, désépinglez-la en cliquant sur son icône d’épingle.

​

Comparer des runs au run de référence

• Survolez une partie du graphique pour afficher une infobulle indiquant les valeurs de tous les runs visibles, y compris le run de référence et les runs épinglés.
  
• Survolez l’étiquette de légende du run de référence pour mettre sa courbe en évidence. Elle s’affiche sous la forme d’une ligne épaisse en pointillés. Les courbes des autres runs visibles s’affichent avec une saturation réduite.
  
• Survolez l’étiquette de légende d’un autre run pour mettre sa courbe en évidence et la comparer à la référence, qui s’affiche sous la forme d’une ligne épaisse en pointillés. Les courbes des autres runs visibles s’affichent avec une saturation réduite.
  

​

Écarts des métriques de synthèse

• Si l’autre run surpasse la référence (c’est-à-dire qu’il est meilleur selon la directionnalité), le delta s’affiche en texte rouge foncé sur fond rouge clair.
• Si l’autre run est moins performant que la référence (c’est-à-dire qu’il est meilleur selon la directionnalité), le delta s’affiche en texte sarcelle foncé sur fond sarcelle clair.

1. Dans le tableau des runs, survolez l’en-tête de colonne de la métrique.
2. Cliquez sur le menu action () qui apparaît.
3. Définissez Metric directionality sur Higher values are best ou Lower values are best.

​

Masquer les écarts des métriques de synthèse dans un workspace

1. Dans le workspace, cliquez sur Settings.
2. Dans le volet latéral qui s’affiche, cliquez sur Runs.
3. Dans l’onglet Baseline, désactivez l’option Show value deltas in the runs table.
4. Fermez le volet latéral des paramètres du workspace.

​

Cas d’utilisation

• Suivre les modèles en production : assurez-vous que les nouveaux modèles atteignent votre niveau d’exigence en matière de qualité avant de les déployer.
  1. Définissez votre modèle en production comme référence.
  2. Comparez toutes les expériences à votre modèle déployé afin d’identifier les candidats plus performants que le modèle en production.
• Comparer des expériences sur les hyperparamètres : évaluez des sweeps d’hyperparamètres ou des expériences manuelles par rapport à la meilleure configuration que vous connaissez.
  1. Définissez votre meilleure configuration connue comme référence.
  2. Épinglez les candidats prometteurs au fur et à mesure que vous les découvrez.
  3. Utilisez les graphiques en courbes pour comparer visuellement les runs à la référence.
  4. Mettez à jour la référence chaque fois que vous trouvez une meilleure configuration.

​

Exemple : comparer les runs issus d’expériences d’optimisation des hyperparamètres

import wandb
import random
import math

def train_model(learning_rate, batch_size, run_name, tags=None):
    """Simulate training a model with given hyperparameters."""
    config = {
        "learning_rate": learning_rate,
        "batch_size": batch_size,
        "optimizer": "adam",
        "architecture": "resnet50"
    }
    
    with wandb.init(
      # Remplacez par le nom de votre équipe et celui de votre projet
        project="hyperparameter-tuning",
        entity="your-team-name", # Remplacez par le nom de votre équipe
        name=run_name,
        config=config,
        tags=tags or []
    ) as run:
        # Simuler la boucle d’entraînement
        for epoch in range(50):
            # Métriques simulées
            accuracy = 0.6 + 0.3 * (1 - math.exp(-learning_rate * epoch / 10))
            loss = 1.0 * math.exp(-learning_rate * epoch / 10)
            
            run.log({
                "epoch": epoch,
                "accuracy": accuracy,
                "loss": loss
            })

# Créer un run de référence avec une configuration standard
train_model(
    learning_rate=0.001,
    batch_size=64,
    run_name="baseline-config",
    tags=["baseline", "production"]
)

# Tester différents taux d’apprentissage
train_model(
    learning_rate=0.003,
    batch_size=64,
    run_name="lr-experiment-0.003",
    tags=["experiment"]
)

train_model(
    learning_rate=0.0001,
    batch_size=64,
    run_name="lr-experiment-0.0001",
    tags=["experiment"]
)

1. Accédez à votre projet W&B.
2. Sélectionnez l’onglet Runs.
3. Filtrez les runs pour trouver celui qui porte le tag baseline, puis définissez-le comme run de référence.
4. Épinglez baseline-config pour afficher le run en haut du tableau des runs.
5. Comparez les runs d’expérience à la référence.
   • Sélectionnez le menu à points de suspension verticaux à côté de la colonne accuracy, puis définissez Metric directionality sur Higher values are best. Le tableau des runs affiche désormais le delta de précision de chaque run.
   • Sélectionnez le menu à points de suspension verticaux à côté de la colonne loss, puis définissez Metric directionality sur Lower values are best. Le tableau des runs affiche désormais le delta de perte de chaque run.
   
6. Utilisez les graphiques en courbes pour comparer visuellement les runs à la référence. Le run de référence s’affiche sous la forme d’une ligne pointillée en gras. Survolez le graphique pour comparer chaque run à la référence à une époque donnée. Par exemple, l’image suivante compare les runs lr-experiment-0.003 et lr-experiment-0.0001 au run de référence baseline-config.
   

​

Limitations

• Grouping : lorsque vous consultez des runs dans le sélecteur de runs ou le tableau des runs, si les runs sont regroupés par colonne, les runs épinglés et les runs de référence ne se distinguent pas visuellement des autres runs.
• Reports : dans un ensemble de runs d’un W&B Report, les runs épinglés et les runs de référence ne se distinguent pas visuellement des autres runs.
• Vue workspace uniquement : la référence n’apparaît pas lorsque vous consultez le workspace d’un run individuel.
• Graphiques en courbes uniquement : la comparaison avec la référence n’est disponible que pour les graphiques en courbes, et pas encore pour les autres panneaux, comme les graphiques à barres ou les volets multimédias.