アーティファクトをダウンロードして使用する

W&B サーバーにすでに保存されているアーティファクトをダウンロードして使用するか、アーティファクトオブジェクトを作成して渡し、必要に応じて重複排除を行います。

W&B に保存されたアーティファクトをダウンロードして使用する

アーティファクトが run の依存関係である場合、追跡された run 入力としてダウンロードするか、リネージ追跡を必要としないワークフローでは直接取得します。

W&B が処理方法を把握しているスキームを持つリファレンスは、アーティファクトファイルと同様にダウンロードされます。詳細については、外部ファイルをトラッキングするを参照してください。

アーティファクト内のすべてのファイルをダウンロードするか、個別のファイルをダウンロードできます：

すべてのファイルをダウンロードするには Artifact.download() を使用します。
特定のエントリを取得するには Artifact.get_entry() を使用し、その後 .download() を呼び出してダウンロードします。

run 入力をトラッキングする
直接取得する
W&B CLI

W&B run の一部としてアーティファクトをダウンロードするには wandb.Run.use_artifact() を使用します。W&B はアーティファクトを run の入力として記録します。

W&B Python SDK をインポートし、W&B Run を初期化します。
wandb.Run.use_artifact() でアーティファクトのバージョンを取得します。
返された Artifact オブジェクトからすべてのファイルまたは特定のファイルをダウンロードします。

import wandb    

with wandb.init(project="project-name", job_type="job-type") as run:
    # 使用するアーティファクトを示します。形式は "name:alias"
    artifact = run.use_artifact("bike-dataset:latest")

    # アーティファクト全体をダウンロード
    datadir = artifact.download()

    # 特定のファイルをダウンロード
    entry = artifact.get_entry("bike.png")
    file_path = entry.download() # bike.png のみをダウンロード

run を作成したり run 入力関係を記録したりせずにアーティファクトをダウンロードするには Public API を使用します。

W&B Python SDK をインポートし、wandb.Api() でクライアントオブジェクトを作成します。
wandb.Api.artifact() でアーティファクトのバージョンを取得します。
返された Artifact オブジェクトからすべてのファイルまたは特定のファイルをダウンロードします。

アーティファクトパスを entity/project/artifact:alias の形式で指定します。

import wandb

api = wandb.Api()
artifact = api.artifact("entity/project/artifact:alias")
artifact.download()

W&B サーバーからアーティファクトをダウンロードするには wandb artifact get コマンドを使用します。

$ wandb artifact get project/artifact:alias --root mnist/

アーティファクトを部分的にダウンロードする

接頭辞を指定して、アーティファクトの一部だけをダウンロードすることもできます。path_prefix= (wandb.Artifact.download(path_prefix=)) パラメーターを使用すると、単一のファイルやサブフォルダーの内容をダウンロードできます。

with wandb.init(project="project-name", job_type="job-type") as run:
    # 使用するアーティファクトを指定します。形式は "name:alias" です
    artifact = run.use_artifact("bike-dataset:latest")

    # 特定のファイルまたはサブフォルダーをダウンロードします
    artifact.download(path_prefix="bike.png") # bike.png のみをダウンロードします

また、特定のディレクトリ内のファイルをダウンロードすることもできます。その場合は、path_prefix= パラメーターにディレクトリを指定します。前のコードスニペットに続けて、次のように記述します。

# images/bikes ディレクトリ内のファイルをダウンロード
artifact.download(path_prefix="images/bikes/") 

ダウンロードしたアーティファクトファイルを検証する

アーティファクトをダウンロードしたら、wandb.Artifact.verify() を呼び出して、ディスク上のローカルファイルがアーティファクトのマニフェストと一致していることを確認します。次の例では、run 内でアーティファクトをダウンロードし、ダウンロードしたファイルを検証します。

import wandb

with wandb.init(project="project-name", job_type="job-type") as run:
    artifact = run.use_artifact("entity/project/my-dataset:latest")
    artifact_dir = artifact.download()
    artifact.verify(artifact_dir)

wandb.Artifact.verify() は、ローカルファイルのチェックサムを再計算し、アーティファクトの manifest に記録されたチェックサムと比較します。ファイルが欠落または変更されている場合や、アーティファクトに含まれていないファイルがディレクトリ内に存在する場合は、検証が失敗します。

アーティファクト検証に関する考慮事項

wandb.Artifact.verify() は参照エントリを検証しません。
digest_algorithm="XXH128" で作成されたアーティファクトに wandb.Artifact.verify() を使用するには、W&B Python SDK バージョン 0.29.0 以降が必要です。それより前の SDK バージョンは XXH128 の manifest エントリをサポートしていないため、検証が失敗します。

別の project のアーティファクトを使用する

アーティファクトを参照するには、アーティファクト名とプロジェクト名を指定します。アーティファクト名と entity 名を指定すると、異なる entity のアーティファクトも参照できます。次のコード例は、現在の W&B run の入力として、別の project のアーティファクトをクエリする方法を示しています。

with wandb.init(project="project-name", job_type="job-type") as run:
    # W&B に別の project のアーティファクトをクエリし、
    # この run の入力として指定します。
    artifact = run.use_artifact("my-project/artifact:alias")

    # 別の entity のアーティファクトを使用し、
    # この run の入力として指定します。
    artifact = run.use_artifact("my-entity/my-project/artifact:alias")

アーティファクトの作成と使用を同時に行う

アーティファクトの作成と使用を同時に行います。アーティファクトオブジェクトを作成し、use_artifact に渡してください。W&B にアーティファクトがまだ存在しない場合は、この時点で作成されます。wandb.Run.use_artifact() API はべき等なので、何度呼び出しても問題ありません。

import wandb

with wandb.init(project="project-name", job_type="job-type") as run:
    artifact = wandb.Artifact("reference model")
    artifact.add_file("model.h5")
    run.use_artifact(artifact)

アーティファクトの作成方法の詳細については、アーティファクトを構築するを参照してください。

​W&B に保存されたアーティファクトをダウンロードして使用する

​アーティファクトを部分的にダウンロードする

​ダウンロードしたアーティファクトファイルを検証する

​別の project のアーティファクトを使用する

​アーティファクトの作成と使用を同時に行う

W&B に保存されたアーティファクトをダウンロードして使用する

アーティファクトを部分的にダウンロードする

ダウンロードしたアーティファクトファイルを検証する

別の project のアーティファクトを使用する

アーティファクトの作成と使用を同時に行う