Ce qui occupe l’espace du bucket
W&B stocke plusieurs catégories de données dans le stockage d’objets que vous avez configuré. L’aperçu BYOB en donne des exemples, notamment les fichiers et les métriques d’expérience, les fichiers d’artifact, les fichiers multimédias, les fichiers de run et l’historique exporté au format Parquet. Ce sont ces données qui, ensemble, déterminent la taille et le coût du bucket.Comment W&B supprime les données du stockage
Une suppression effectuée dans la W&B App ou via l’API publique met d’abord à jour les métadonnées W&B. Supprimer un run, un artifact ou un fichier du produit n’entraîne pas nécessairement une baisse immédiate de l’utilisation du bucket indiquée. Le nettoyage du stockage d’objets s’effectue en arrière-plan et peut prendre du retard, en particulier sur les instances très sollicitées.Artifacts
Les artifacts supprimés font d’abord l’objet d’une suppression réversible (soft delete), puis sont traités par le garbage collection des artifacts. Pour les déploiements autogérés, vous devez définirGORILLA_ARTIFACT_GC_ENABLED et respecter les exigences du fournisseur de stockage, comme la gestion des versions ou la suppression réversible. Voir Supprimer un artifact et Configurer les variables d’environnement.
Données de run et fichiers de run
Une fois les runs ou les fichiers associés aux runs supprimés, la suppression définitive des objets stockés sous-jacents est gérée indépendamment de celle des artifacts. Sur les déploiements Cloud dédié et autogérés,GORILLA_DATA_RETENTION_PERIOD définit la durée de conservation des données de run supprimées avant qu’elles puissent être effacées du stockage. Ce paramètre ne supprime pas les artifacts. Consultez Configurer les variables d’environnement, Politique de rétention des données pour le Cloud dédié, et Supprimer des runs pour comprendre l’incidence de la suppression des runs et des fichiers sur le stockage.
À quoi s’attendre lors du nettoyage en arrière-plan
La garbage collection et les jobs associés qui libèrent le stockage d’objets s’exécutent sans garantie de délai. W&B ne garantit pas qu’un objet donné disparaîtra de votre bucket dans un délai précis après la suppression de contenu dans l’interface utilisateur ou via l’API. Pour les projets comportant un grand nombre de fichiers par run, par exemple lorsque vous journalisez de nombreux fichiers multimédias par run, attendez-vous à des délais plus longs avant que l’espace de stockage utilisé ne soit libéré. Surveillez votre bucket depuis la console de votre fournisseur de cloud et contactez l’assistance W&B ou votre équipe de compte si le nettoyage semble bloqué.Réduire l’utilisation du bucket
Cette section décrit l’ordre recommandé des opérations pour libérer de l’espace dans votre bucket, en commençant par les procédures sûres proposées par le produit et en terminant par les opérations directes sur le bucket, qui demandent davantage de précautions. Commencez par utiliser les procédures prises en charge par le produit :- Supprimez les runs dans la W&B App ou avec Python lorsque vous n’en avez plus besoin.
- Supprimez les artifacts dont vous n’avez plus besoin, et utilisez le TTL des artifacts s’il est adapté à votre flux de travail.
- Les objets que vous supprimez ne sont plus disponibles au téléchargement via W&B.
- Supprimez uniquement les clés que vous souhaitez effectivement retirer. Une suppression erronée peut empêcher l’accès à des données encore référencées par l’application.
- Si votre bucket utilise la gestion des versions des objets ou la suppression réversible du fournisseur (par exemple sur Google Cloud Storage), des frais de stockage peuvent continuer à s’appliquer jusqu’à l’expiration des versions non actuelles ou des objets supprimés de manière réversible, selon vos règles de cycle de vie cloud. :::