Explore artifact lineage graphs

W&B は、_リネージグラフ_と呼ばれる有向非巡回グラフ (DAG) を使って run の入力と出力を追跡します。リネージグラフは、機械学習の実験におけるアーティファクトと run の関係を視覚的に表したものです。データとモデルが、生データの取り込みからモデルのトレーニングや評価まで、機械学習のライフサイクルの各段階をどのように流れるかを示します。アーティファクトのリネージを追跡することには、次のような主な利点があります。

再現性: チームがデバッグ、実験、検証のために実験、モデル、結果を再現できるようにします。
バージョン管理: アーティファクトの変更を時系列で追跡し、必要に応じて以前のデータやモデルのバージョンに戻せるようにします。
監査: アーティファクトと変換の詳細な記録を保持し、コンプライアンスとガバナンスを支援します。
共同作業: 実験履歴を透明化し、作業の重複を減らし、開発を加速することで、チームワークの向上に役立ちます。

アーティファクトのリネージグラフを表示する

アーティファクトのリネージグラフを表示するには、次の手順に従います。

W&B アプリで、対象のプロジェクトのワークスペースにアクセスします。
プロジェクトのサイドバーで Artifacts タブをクリックします。
アーティファクトを選択し、Lineage タブをクリックします。

リネージグラフを操作する

リネージグラフは、ML実験におけるアーティファクトとrunの関係を視覚的に表現したものです。W&B アプリ UIまたはPython SDKを使用して、アーティファクトのリネージグラフを探索し、たどることができます。

W&B App UI
W&B Python SDK

緑色のアイコンを持つノードはrunを表します。青色のアイコンを持つノードはアーティファクトを表します。ノード間の矢印は、runまたはアーティファクトの入力と出力を示します。アーティファクトノードには、アーティファクトの名前とバージョンの形式 <artifact_name>:<version> で表示されます。アーティファクトのタイプは、アーティファクト名の上に表示されます。

アーティファクトのタイプと名前は、左サイドバーとリネージグラフノードの両方で確認できます。

Runノードにはrunの名前が表示されます。

個別のrunをクリックすると、そのrunの開始時間、所要時間、作成者、ジョブタイプなどの詳細情報を確認できます。個別のアーティファクトをクリックすると、アーティファクトのエイリアス、作成時間、タイプ、バージョン、説明、アーティファクトをログしたrun、ファイルサイズなどの詳細情報を確認できます。

同じアーティファクトの複数のバージョンを生成したrunは、クラスターにグループ化されます。クラスター内にリストされている特定のバージョンをクリックすると、そのアーティファクトバージョンの詳細情報を確認できます。

Cluster of artifact versions in a lineage graph

ノードをクリックしてドラッグすると、グラフのレイアウトをカスタマイズして再配置できます。ノードとその関係をよりよく確認するために、グラフをズームインおよびズームアウトすることもできます。

ノードにマウスをホバーし、目のアイコンをクリックすると、グラフ内のノードを非表示または表示できます。これは、特定のノードとその関係に焦点を当てるためにグラフを整理するのに便利です。

W&B Python SDKを使用して、プログラムでグラフを操作します。アーティファクトオブジェクトの logged_by() および used_by() メソッドを使用して、グラフを移動します:

with wandb.init() as run:
    artifact = run.use_artifact("artifact_name:latest")

    # Walk up and down the graph from an artifact:
    producer_run = artifact.logged_by()
    consumer_runs = artifact.used_by()

リネージグラフのトラッキングを有効にする

リネージグラフのトラッキングを有効にするには、W&B Python SDK を使用して、アーティファクトを run の入力または出力として指定する必要があります。

run の入力をトラッキングする

アーティファクトを run の入力 (または依存関係) として wandb.Run.use_artifact() メソッドでマークします。アーティファクトの名と、オプションのエイリアスを指定して、そのアーティファクトの特定のバージョンを参照します。アーティファクトの名は <artifact_name>:<version> または <artifact_name>:<alias> の形式です。山括弧 (< >) で囲まれた値をあなたの値に置き換えてください：

import wandb

# run を初期化します
with wandb.init(entity="<entity>", project="<project>") as run:
  # アーティファクトを取得し、依存関係としてマークします
  artifact = run.use_artifact(artifact_or_name="<name>", aliases="<alias>")

run の出力をトラッキングする

wandb.Run.log_artifact() を使用して、アーティファクトを run の出力として宣言します。まず、wandb.Artifact() コンストラクターでアーティファクトを作成します。次に、wandb.Run.log_artifact() を使用して、アーティファクトを run の出力としてログします。山括弧 (< >) で囲まれた値をあなたの値に置き換えてください：

import wandb

# run を初期化します
with wandb.init(entity="<entity>", project="<project>") as run:
  
  # アーティファクトを作成します
  artifact = wandb.Artifact(name = "<artifact_name>", type = "<artifact_type>")
  artifact.add_file(local_path = "<local_filepath>", name="<optional-name>")

  # run の出力としてアーティファクトをログします
  run.log_artifact(artifact_or_path = artifact)

アーティファクトクラスター

グラフのレベルに 5 つ以上の run またはアーティファクトがある場合、クラスターが作成されます。クラスターには、run またはアーティファクトの特定のバージョンを検索する検索バーがあり、クラスター内のノードのリネージを調査し続けるために、クラスターから個別のノードをプルします。ノードをクリックすると、そのノードの概要を含むプレビューが開きます。矢印をクリックすると、個別の run またはアーティファクトが抽出され、抽出されたノードのリネージを調べることができます。

​アーティファクトのリネージグラフを表示する

​リネージグラフを操作する

​リネージグラフのトラッキングを有効にする

​run の入力をトラッキングする

​run の出力をトラッキングする

​アーティファクト クラスター

アーティファクトのリネージグラフを表示する

リネージグラフを操作する

リネージグラフのトラッキングを有効にする

run の入力をトラッキングする

run の出力をトラッキングする

アーティファクトクラスター