Tutoriel : créer, suivre et utiliser un artifact de jeu de données

Ce guide pas à pas explique comment créer, suivre et utiliser un artifact de jeu de données.

Se connecter à W&B

Importez la bibliothèque W&B et connectez-vous à W&B. Si ce n’est pas déjà fait, vous devrez vous inscrire pour créer un compte W&B gratuit.

import wandb

wandb.login()

Initialiser un run

Utilisez wandb.init() pour initialiser un run. Cette opération lance un processus en arrière-plan chargé de synchroniser et de journaliser les données. Indiquez un nom de projet et un type de job :

# Créez un run W&B. Nous indiquons ici 'dataset' comme type de job, car cet exemple
# montre comment créer un artifact de jeu de données.
with wandb.init(project="artifacts-example", job_type="upload-dataset") as run:
    # Votre code ici

Créer un objet artifact

Créez un objet artifact avec wandb.Artifact(). Fournissez un nom pour l’artifact et une description du type de fichier dans les paramètres name et type, respectivement. Par exemple, l’extrait de code suivant montre comment créer un artifact nommé ‘bicycle-dataset’ avec l’étiquette ‘dataset’ :

artifact = wandb.Artifact(name="bicycle-dataset", type="dataset")

Pour en savoir plus sur la construction d’un artifact, consultez Construire des artifacts.

Ajouter le jeu de données à l’artifact

Ajoutez un fichier à l’artifact. Il s’agit généralement de modèles ou de jeux de données. L’exemple suivant ajoute à l’artifact un jeu de données nommé dataset.h5, enregistré localement sur notre machine :

# Ajouter un fichier au contenu de l’artifact
artifact.add_file(local_path="dataset.h5")

Remplacez le nom de fichier dataset.h5 dans l’extrait de code précédent par le chemin du fichier que vous souhaitez ajouter à l’artifact.

Journaliser le jeu de données

Utilisez la méthode wandb.Run.log_artifact() de l’objet run W&B pour à la fois enregistrer la version de votre artifact et déclarer l’artifact comme sortie du run.

# Enregistrer la version de l’artifact dans W&B et la déclarer
# comme sortie de ce run
run.log_artifact(artifact)

Un alias 'latest' est créé par défaut lorsque vous journalisez un artifact. Pour en savoir plus sur les alias et les versions d’artifact, consultez respectivement Créer un alias personnalisé et Créer de nouvelles versions d’artifact. Une fois ces éléments réunis, votre script devrait à ce stade ressembler à ceci :

import wandb

wandb.login()

with wandb.init(project="artifacts-example", job_type="upload-dataset") as run:
    artifact = wandb.Artifact(name="bicycle-dataset", type="dataset")
    artifact.add_file(local_path="dataset.h5")
    run.log_artifact(artifact)

Télécharger et utiliser l’artifact

L’exemple de code suivant présente les étapes à suivre pour utiliser un artifact que vous avez journalisé et enregistré sur les serveurs W&B.

Tout d’abord, initialisez un nouvel objet run avec wandb.init().
Ensuite, appelez la méthode wandb.Run.use_artifact() de l’objet run pour indiquer à W&B l’artifact à utiliser. Cette méthode renvoie un objet artifact.
Enfin, appelez la méthode wandb.Artifact.download() de l’artifact pour en télécharger le contenu.

# Créer un run W&B. Ici, nous indiquons 'training' pour 'type'
# car ce run servira à suivre l’entraînement.
with wandb.init(project="artifacts-example", job_type="training") as run:

  # Interroger W&B pour récupérer un artifact et le marquer comme entrée de ce run
  artifact = run.use_artifact("bicycle-dataset:latest")

  # Télécharger le contenu de l’artifact
  artifact_dir = artifact.download()

Vous pouvez également utiliser l’API publique (wandb.Api) pour exporter (ou mettre à jour) des données déjà enregistrées dans W&B en dehors d’un run. Pour plus d’informations, consultez Suivre des fichiers externes.

​ Se connecter à W&B

​ Initialiser un run

​ Créer un objet artifact

​ Ajouter le jeu de données à l’artifact

​ Journaliser le jeu de données

​ Télécharger et utiliser l’artifact