アーティファクトを作成する

import wandb

# アーティファクト オブジェクトを作成します
artifact = wandb.Artifact(name="artifact-name", type="artifact-type")

import wandb
# アーティファクト オブジェクトを作成します
artifact = wandb.Artifact(
    name="my-dataset",
    type="dataset",
    description="This is my dataset artifact",
    metadata={"source": "generated", "version": 1},
    digest_algorithm="XXH128"
)

artifact.add_file(local_path="path/to/file.txt", name="artifact-name")

artifact.add_dir(local_path="path/to/directory", name="artifact-name")

with wandb.init(project="<project>", job_type="<job-type>") as run:
    run.log_artifact(artifact)

import wandb

artifact = wandb.Artifact(name="artifact-name", type="artifact-type")
artifact.add_file(local_path="path/to/file.txt", name="filename")
artifact.add_dir(local_path="path/to/directory", name="filename")

with wandb.init(project="<project>", job_type="<job-type>") as run:
    run.log_artifact(artifact)

root-directory
| - hello.txt
| - images/
| -- | cat.png
| -- | dog.png
| - checkpoints/
| -- | model.h5
| - models/
| -- | model.h5

import wandb

# アーティファクト オブジェクトを初期化します
artifact = wandb.Artifact(name="artifact-name", type="artifact-type")

# ファイルを 1 つ追加します
artifact.add_file(local_path="path/file.format")

artifact.add_file("hello.txt")

hello.txt

artifact.add_file(
    local_path="hello.txt", 
    name="new/path/hello_world.txt"
    )

new/path/hello_world.txt

import wandb

# アーティファクト オブジェクトを初期化します
artifact = wandb.Artifact(name="artifact-name", type="artifact-type")

# ローカル ディレクトリをアーティファクトに追加します
artifact.add_dir(local_path="path/file.format", name="optional-prefix")

# URI 参照を追加
artifact.add_reference(uri="uri", name="optional-name")

import wandb
import time

# この例では、デモとして Ray を使用して
# run を並列実行します。
import ray

ray.init()

artifact_type = "dataset"
artifact_name = "parallel-artifact"
table_name = "distributed_table"
parts_path = "parts"
num_parallel = 5

# 並列ライターのバッチごとに、固有の
# グループ名を付けてください。
group_name = "writer-group-{}".format(round(time.time()))


@ray.remote
def train(i):
    """
    Our writer job. Each writer will add one image to the artifact.
    """
    with wandb.init(group=group_name) as run:
        artifact = wandb.Artifact(name=artifact_name, type=artifact_type)

        # wandb の表にデータを追加します。
        table = wandb.Table(columns=["a", "b", "c"], data=[[i, i * 2, 2**i]])

        # アーティファクト内のフォルダーに表を追加します
        artifact.add(table, "{}/table_{}".format(parts_path, i))

        # アーティファクトをアップサートすると、アーティファクトが作成されるか、既存のアーティファクトにデータが追加されます
        run.upsert_artifact(artifact)


# run を並列で起動します
result_ids = [train.remote(i) for i in range(num_parallel)]

# すべてのライターの完了を待ち、アーティファクトを
# 完了する前にファイルが追加済みであることを確認します。
ray.get(result_ids)

# すべてのライターが終了したら、アーティファクトを完了して
# 準備完了の状態にします。
with wandb.init(group=group_name) as run:
    artifact = wandb.Artifact(artifact_name, type=artifact_type)

    # 表のフォルダーを指す「PartitionTable」を作成し、
    # アーティファクトに追加します。
    artifact.add(wandb.data_types.PartitionedTable(parts_path), table_name)

    # finish_artifact はアーティファクトを確定し、このバージョンへの
    # 以降の「アップサート」をできないようにします。
    run.finish_artifact(artifact)

from wandb.apis.public.files import Files
from wandb.apis.public.api import Api

# run オブジェクトの例
run = Api().run("<entity/project/run-id>")

# run 内のファイルを反復処理するために Files オブジェクトを作成します
files = Files(api.client, run)

# ファイルを反復処理します
for file in files:
    print(f"File Name: {file.name}")
    print(f"File URL: {file.url}")
    print(f"Path to file in the bucket: {file.direct_url}")