Explorer les graphes de traçabilité des artifacts

W&B suit les entrées et les sorties des runs à l’aide de graphes orientés acycliques (DAG) appelés graphes de traçabilité. Les graphes de traçabilité représentent visuellement les relations entre les artifacts et les runs d’une expérience de ML. Ils montrent comment les données et les modèles circulent entre les différentes étapes du cycle de vie du ML, de l’ingestion des données brutes jusqu’à l’entraînement et l’évaluation des modèles. Le suivi de la traçabilité des artifacts présente plusieurs avantages clés :

Reproductibilité : permet aux équipes de reproduire les expériences, les modèles et les résultats à des fins de débogage, d’expérimentation et de validation.
Contrôle de version : suit l’évolution des artifacts au fil du temps, ce qui permet aux équipes de revenir à des versions antérieures des données ou des modèles si nécessaire.
Audit : conserve un historique détaillé des artifacts et des transformations pour faciliter la conformité et la gouvernance.
Collaboration : améliore le travail d’équipe en rendant l’historique des expériences transparent, en évitant les efforts redondants et en accélérant le développement.

Afficher le graphe de traçabilité d’un artifact

Pour afficher le graphe de traçabilité d’un artifact :

Accédez au workspace de votre projet dans la W&B App.
Cliquez sur l’onglet Artifacts dans la barre latérale du projet.
Sélectionnez un artifact, puis cliquez sur l’onglet Lineage.

Naviguer dans les graphes de traçabilité

Le graphe de traçabilité est une représentation visuelle des relations entre les artifacts et les runs d’une expérience de ML. Utilisez l’interface de l’application W&B ou le SDK Python pour explorer et parcourir le graphe de traçabilité d’un artifact.

Interface de l’application W&B
SDK Python W&B

Les nœuds dotés d’icônes vertes représentent des runs. Les nœuds dotés d’icônes bleues représentent des artifacts. Les flèches entre les nœuds indiquent l’entrée et la sortie d’un run ou d’un artifact.Les nœuds d’artifact affichent le nom de l’artifact ainsi que sa version, sous la forme <artifact_name>:<version>. Le type de l’artifact apparaît au-dessus de son nom.

Le type et le nom de l’artifact sont visibles à la fois dans la barre latérale gauche et dans le nœud du graphe de traçabilité.

Les nœuds de run affichent le nom du run.

Cliquez sur un run pour obtenir plus d’informations à son sujet : heure de début, durée, auteur, type de job, etc. Cliquez sur un artifact pour obtenir plus d’informations à son sujet : alias, date de création, type, version, description, run qui l’a journalisé, taille du fichier, etc.

Les runs qui créent plusieurs versions d’un même artifact sont regroupés dans un cluster. Cliquez sur l’une des versions d’artifact du cluster pour afficher les informations propres à cette version.

Cluster de versions d’artifact dans un graphe de traçabilité

Cliquez sur un nœud et faites-le glisser pour réorganiser le graphe et personnaliser la mise en page. Vous pouvez également zoomer et dézoomer pour mieux visualiser les nœuds et leurs relations.

Réorganisation des nœuds dans un graphe de traçabilité

Survolez un nœud avec la souris et cliquez sur l’icône en forme d’œil pour masquer ou afficher ce nœud dans le graphe. Vous pouvez ainsi désencombrer le graphe et vous concentrer sur certains nœuds et leurs relations.

Parcourez un graphe par programmation à l’aide du SDK Python W&B. Utilisez les méthodes logged_by() et used_by() d’un objet artifact pour parcourir le graphe :

with wandb.init() as run:
    artifact = run.use_artifact("artifact_name:latest")

    # Remonter et descendre dans le graphe à partir d’un artifact :
    producer_run = artifact.logged_by()
    consumer_runs = artifact.used_by()

Activer le suivi du graphe de traçabilité

Pour activer le suivi du graphe de traçabilité, vous devez désigner les artifacts comme entrées ou sorties d’un run à l’aide du SDK Python W&B.

Suivre l’entrée d’un run

Marquez un artifact comme entrée (ou dépendance) d’un run à l’aide de la méthode wandb.Run.use_artifact(). Indiquez le nom de l’artifact et, éventuellement, un alias pour désigner une version précise de cet artifact. Le nom de l’artifact se présente au format <artifact_name>:<version> ou <artifact_name>:<alias>. Remplacez les valeurs entre chevrons (< >) par vos propres valeurs :

import wandb

# Initialiser un run
with wandb.init(entity="<entity>", project="<project>") as run:
  # Obtenir l’artifact et le marquer comme dépendance
  artifact = run.use_artifact(artifact_or_name="<name>", aliases="<alias>")

Suivre la sortie d’un run

Utilisez wandb.Run.log_artifact() pour déclarer un artifact comme sortie d’un run. Commencez par créer un artifact avec le constructeur wandb.Artifact(). Journalisez ensuite l’artifact comme sortie du run avec wandb.Run.log_artifact(). Remplacez les valeurs entre chevrons (< >) par vos propres valeurs :

import wandb

# Initialiser un run
with wandb.init(entity="<entity>", project="<project>") as run:
  
  # Créer un artifact
  artifact = wandb.Artifact(name = "<artifact_name>", type = "<artifact_type>")
  artifact.add_file(local_path = "<local_filepath>", name="<optional-name>")

  # Journaliser l’artifact en tant que sortie du run
  run.log_artifact(artifact_or_path = artifact)

Clusters d’artifacts

Lorsqu’un niveau du graphe comporte au moins cinq runs ou artifacts, ceux-ci sont regroupés en cluster. Un cluster dispose d’une barre de recherche permettant de trouver des versions spécifiques de runs ou d’artifacts. Vous pouvez également en extraire un nœud individuel pour poursuivre l’analyse de sa traçabilité. Cliquez sur un nœud pour ouvrir un aperçu de celui-ci. Cliquez sur la flèche pour extraire le run ou l’artifact concerné et examiner la traçabilité du nœud extrait.

​Afficher le graphe de traçabilité d’un artifact

​Naviguer dans les graphes de traçabilité

​Activer le suivi du graphe de traçabilité

​Suivre l’entrée d’un run

​Suivre la sortie d’un run

​Clusters d’artifacts

Afficher le graphe de traçabilité d’un artifact

Naviguer dans les graphes de traçabilité

Activer le suivi du graphe de traçabilité

Suivre l’entrée d’un run

Suivre la sortie d’un run

Clusters d’artifacts