아티팩트 저장소 및 메모리 할당 관리

W&B는 기본적으로 미국에 있는 비공개 Google Cloud Storage 버킷에 아티팩트 파일을 저장합니다. 모든 파일은 저장 시와 전송 시 모두 암호화됩니다. 민감한 파일의 경우 Private Hosting을 설정하거나 참조 아티팩트를 사용하는 것이 좋습니다. 트레이닝 중에 W&B는 로그, 아티팩트, 설정 파일을 다음 로컬 디렉터리에 저장합니다.

파일	기본 위치	기본 위치를 변경하려면 설정할 항목
로그	`./wandb`	`wandb.init()`의 `dir` 또는 `WANDB_DIR` 환경 변수
아티팩트	`~/.cache/wandb`	`WANDB_CACHE_DIR` 환경 변수
설정	`~/.config/wandb`	`WANDB_CONFIG_DIR` 환경 변수
업로드용 스테이징 아티팩트	`~/.cache/wandb-data/`	`WANDB_DATA_DIR` 환경 변수
다운로드한 아티팩트	`./artifacts`	`WANDB_ARTIFACT_DIR` 환경 변수

환경 변수로 W&B를 설정하는 방법에 대한 전체 가이드는 환경 변수 레퍼런스를 참조하세요.

wandb를 초기화하는 머신에 따라 이러한 기본 폴더가 파일 시스템의 쓰기 가능한 영역에 있지 않을 수 있으며, 이로 인해 오류가 발생할 수 있습니다.

로컬 아티팩트 캐시 정리

W&B는 공통 파일을 공유하는 여러 버전을 더 빠르게 다운로드할 수 있도록 아티팩트 파일을 캐시합니다. 시간이 지나면 이 캐시 디렉터리의 크기가 커질 수 있습니다. wandb artifact cache cleanup 명령을 실행하면 캐시를 정리하고 최근에 사용하지 않은 파일을 제거할 수 있습니다. 다음 코드 스니펫은 캐시 크기를 1GB로 제한하는 방법을 보여줍니다. 코드 스니펫을 복사하여 터미널에 붙여 넣으세요.

$ wandb artifact cache cleanup 1GB

​로컬 아티팩트 캐시 정리

로컬 아티팩트 캐시 정리