Aperçu d’Artifacts - CoreWeave Docs

Utilisez W&B Artifacts pour suivre et versionner les données en entrée et en sortie de vos W&B Runs. Par exemple, un run d’entraînement de modèle peut prendre un jeu de données en entrée et produire un modèle entraîné en sortie. Vous pouvez journaliser des hyperparamètres, des métadonnées et des métriques dans un run, puis utiliser un artifact pour journaliser, suivre et versionner le jeu de données d’entraînement fourni en entrée, et un autre artifact pour les points de contrôle du modèle produits en sortie.

Cas d’utilisation

Vous pouvez utiliser les artifacts à chaque étape de votre flux de travail ML, comme entrées et sorties de runs. Des jeux de données, des modèles, voire d’autres artifacts, peuvent servir d’entrées à un traitement.

Diagramme du flux de travail des artifacts avec les entrées et sorties pour l’entraînement de modèles, le traitement des données et l’évaluation de modèles

Cas d’utilisation	Entrée	Sortie
Entraînement de modèle	Jeu de données (données d’entraînement et de validation)	Modèle entraîné
Prétraitement de jeu de données	Jeu de données (données brutes)	Jeu de données (données prétraitées)
Évaluation de modèle	Modèle + jeu de données (données de test)	W&B Table
Optimisation de modèle	Modèle	Modèle optimisé

Les extraits de code suivants doivent être exécutés dans l’ordre.

Créer un artifact

Créez un artifact en quatre lignes de code :

Créez un run W&B.
Créez un objet artifact avec wandb.Artifact.
Ajoutez un ou plusieurs fichiers, par exemple un fichier de modèle ou un jeu de données, à l’objet artifact avec wandb.Artifact.add_file().
Journalisez votre artifact dans W&B avec wandb.Run.log_artifact().

Par exemple, l’extrait de code suivant montre comment journaliser un fichier nommé dataset.h5 dans un artifact nommé example_artifact :

import wandb

with wandb.init(project="artifacts-example", job_type="add-dataset") as run:
    artifact = wandb.Artifact(name="example_artifact", type="dataset")
    artifact.add_file(local_path="./dataset.h5", name="training_dataset")
    run.log_artifact(artifact)

Le type de l’artifact détermine la façon dont il s’affiche dans la plateforme W&B. Si vous ne spécifiez pas de type, la valeur par défaut est unspecified.
Chaque libellé du menu déroulant correspond à une valeur différente du paramètre type. Dans l’extrait de code ci-dessus, le type de l’artifact est dataset.

Consultez la page Suivre des fichiers externes pour savoir comment ajouter des références à des fichiers ou des répertoires situés dans un stockage d’objets externe, comme un bucket Amazon S3.

Télécharger un artifact

Indiquez l’artifact que vous souhaitez marquer comme entrée de votre run à l’aide de la méthode wandb.Run.use_artifact(). Dans la continuité de l’extrait de code précédent, l’exemple de code suivant montre comment utiliser l’artifact example_artifact créé plus tôt :

with wandb.init(project="artifacts-example", job_type="add-dataset") as run:
    artifact = run.use_artifact("training_dataset:latest")  # renvoie un objet run qui utilise l’artifact « my_data »

Cette opération renvoie un objet artifact. Utilisez ensuite l’objet renvoyé pour télécharger l’intégralité du contenu de l’artifact :

datadir = artifact.download()  # télécharge l’intégralité de l’artifact `my_data` dans le répertoire par défaut.

Vous pouvez transmettre un chemin personnalisé au paramètre root pour télécharger un artifact dans un répertoire donné. Pour découvrir d’autres façons de télécharger des artifacts et consulter les paramètres supplémentaires, consultez le guide Télécharger et utiliser des artifacts.

Étapes suivantes

Découvrez comment versionner et mettre à jour des artifacts.
Découvrez comment utiliser les automatisations pour déclencher des flux de travail en aval ou notifier un canal Slack lorsque vos artifacts sont modifiés.
Découvrez le registre, un espace qui regroupe les modèles entraînés.
Explorez les guides de référence du SDK Python et de la CLI.

​Cas d’utilisation

​Créer un artifact

​Télécharger un artifact

​Étapes suivantes

Cas d’utilisation

Créer un artifact

Télécharger un artifact

Étapes suivantes