Gérer le stockage et l’allocation de mémoire des artifacts

Par défaut, W&B stocke les fichiers d’artifacts dans un bucket Google Cloud Storage privé situé aux États-Unis. Tous les fichiers sont chiffrés au repos et en transit. Pour les fichiers sensibles, nous vous recommandons de configurer un hébergement privé ou d’utiliser des artifacts de référence. Pendant l’entraînement, W&B enregistre localement les journaux, les artifacts et les fichiers de configuration dans les répertoires suivants :

Fichier	Emplacement par défaut	Pour modifier l’emplacement par défaut, définissez :
journaux	`./wandb`	`dir` dans `wandb.init()` ou la variable d’environnement `WANDB_DIR`
artifacts	`~/.cache/wandb`	la variable d’environnement `WANDB_CACHE_DIR`
configurations	`~/.config/wandb`	la variable d’environnement `WANDB_CONFIG_DIR`
artifacts en staging avant téléversement	`~/.cache/wandb-data/`	la variable d’environnement `WANDB_DATA_DIR`
artifacts téléchargés	`./artifacts`	la variable d’environnement `WANDB_ARTIFACT_DIR`

Pour un guide complet sur la configuration de W&B à l’aide des variables d’environnement, consultez la référence des variables d’environnement.

Selon la machine sur laquelle wandb est initialisé, ces dossiers par défaut peuvent se trouver dans une partie du système de fichiers qui n’est pas accessible en écriture, ce qui peut provoquer une erreur.

Nettoyer le cache d’artifacts local

W&B met en cache les fichiers d’artifacts afin d’accélérer les téléchargements entre les versions qui ont des fichiers en commun. Avec le temps, ce répertoire de cache peut devenir volumineux. Exécutez la commande wandb artifact cache cleanup pour réduire la taille du cache et supprimer les fichiers qui n’ont pas été utilisés récemment. L’extrait de code suivant montre comment limiter la taille du cache à 1 Go. Copiez-collez cet extrait de code dans votre terminal :

$ wandb artifact cache cleanup 1GB

​Nettoyer le cache d’artifacts local

Nettoyer le cache d’artifacts local