Create an artifact

import wandb

# 아티팩트 객체 생성
artifact = wandb.Artifact(name="artifact-name", type="artifact-type")

import wandb
# 아티팩트 객체 생성
artifact = wandb.Artifact(
    name="my-dataset",
    type="dataset",
    description="This is my dataset artifact",
    metadata={"source": "generated", "version": 1},
    digest_algorithm="XXH128"
)

artifact.add_file(local_path="path/to/file.txt", name="artifact-name")

artifact.add_dir(local_path="path/to/directory", name="artifact-name")

with wandb.init(project="<project>", job_type="<job-type>") as run:
    run.log_artifact(artifact)

import wandb

artifact = wandb.Artifact(name="artifact-name", type="artifact-type")
artifact.add_file(local_path="path/to/file.txt", name="filename")
artifact.add_dir(local_path="path/to/directory", name="filename")

with wandb.init(project="<project>", job_type="<job-type>") as run:
    run.log_artifact(artifact)

root-directory
| - hello.txt
| - images/
| -- | cat.png
| -- | dog.png
| - checkpoints/
| -- | model.h5
| - models/
| -- | model.h5

import wandb

# 아티팩트 객체 초기화
artifact = wandb.Artifact(name="artifact-name", type="artifact-type")

# 단일 파일 추가
artifact.add_file(local_path="path/file.format")

artifact.add_file("hello.txt")

hello.txt

artifact.add_file(
    local_path="hello.txt", 
    name="new/path/hello_world.txt"
    )

new/path/hello_world.txt

import wandb

# 아티팩트 객체 초기화
artifact = wandb.Artifact(name="artifact-name", type="artifact-type")

# 아티팩트에 로컬 디렉터리 추가
artifact.add_dir(local_path="path/file.format", name="optional-prefix")

# URI 참조 추가
artifact.add_reference(uri="uri", name="optional-name")

import wandb
import time

# 이 예제에서는 시연을 위해 Ray를 사용하여
# run을 병렬로 실행합니다.
import ray

ray.init()

artifact_type = "dataset"
artifact_name = "parallel-artifact"
table_name = "distributed_table"
parts_path = "parts"
num_parallel = 5

# 병렬 writer 배치마다 고유한
# group 이름을 지정해야 합니다.
group_name = "writer-group-{}".format(round(time.time()))


@ray.remote
def train(i):
    """
    Our writer job. Each writer will add one image to the artifact.
    """
    with wandb.init(group=group_name) as run:
        artifact = wandb.Artifact(name=artifact_name, type=artifact_type)

        # wandb table에 데이터를 추가합니다.
        table = wandb.Table(columns=["a", "b", "c"], data=[[i, i * 2, 2**i]])

        # 아티팩트 내 폴더에 table을 추가합니다
        artifact.add(table, "{}/table_{}".format(parts_path, i))

        # 아티팩트를 업서트하면 아티팩트가 생성되거나 아티팩트에 데이터가 추가됩니다
        run.upsert_artifact(artifact)


# run을 병렬로 시작합니다
result_ids = [train.remote(i) for i in range(num_parallel)]

# 모든 writer를 조인하여 아티팩트를 종료하기 전에
# 각 writer의 파일이 추가되었는지 확인합니다.
ray.get(result_ids)

# 모든 writer가 완료되면 아티팩트를 종료하여
# 준비 완료 상태로 표시합니다.
with wandb.init(group=group_name) as run:
    artifact = wandb.Artifact(artifact_name, type=artifact_type)

    # table 폴더를 가리키는 "PartitionTable"을 생성하고
    # 아티팩트에 추가합니다.
    artifact.add(wandb.data_types.PartitionedTable(parts_path), table_name)

    # finish artifact는 아티팩트를 확정하므로 이후에는
    # 이 버전에 "upsert"할 수 없습니다.
    run.finish_artifact(artifact)

from wandb.apis.public.files import Files
from wandb.apis.public.api import Api

# run 객체 예시
run = Api().run("<entity/project/run-id>")

# run의 파일을 순회할 Files 객체 생성
files = Files(api.client, run)

# 파일 순회
for file in files:
    print(f"File Name: {file.name}")
    print(f"File URL: {file.url}")
    print(f"Path to file in the bucket: {file.direct_url}")