Registry の概要 - CoreWeave Docs

Registry は、組織内の W&B Artifact のバージョンを厳選して一元管理するリポジトリです。組織内で権限を持つユーザーは、所属するチームに関係なく、アーティファクトをダウンロードして使用したり、共有したり、すべてのアーティファクトのライフサイクルを共同で管理したりできます。 Registry を使用すると、アーティファクトのバージョンをトラッキングし、アーティファクトの使用状況と変更の履歴を監査し、アーティファクトのガバナンスとコンプライアンスを確保し、モデルの CI/CD などのダウンストリームプロセスを自動化できます。まとめると、Registry は次の目的に使用します。

機械学習タスクの要件を満たすアーティファクトのバージョンを、組織内の他のユーザーにプロモートする。
タグを使用してアーティファクトを整理し、特定のアーティファクトを検索または参照できるようにする。
アーティファクトのリネージをトラッキングし、変更履歴を監査する。
モデルの CI/CD などのダウンストリームプロセスを自動化する。
各Registry内のアーティファクトに組織内の誰がアクセスできるかを管理する。

次の画像は、Registry のランディングページを示しています。画像には、上から順に、スターを付けたRegistry、最近更新されたRegistryとコレクションが表示されています。

基本を学ぶ

各組織には、モデルとデータセットのアーティファクトを整理するために使用できる Models と Datasets という 2 つのRegistryが初期状態で含まれています。組織のニーズに応じて、他のアーティファクトタイプを整理するためのRegistryを追加で作成できます。各Registryは、1 つ以上のコレクションで構成されます。各コレクションは、それぞれ異なるタスクやユースケースを表します。アーティファクトを Registry に追加するには、まず特定のアーティファクトのバージョンを W&B にログします。アーティファクトをログするたびに、W&B はそのアーティファクトにバージョンを自動的に割り当てます。アーティファクトのバージョンは 0 から始まるため、最初のバージョンは v0、2 番目のバージョンは v1 となり、以降も同様です。アーティファクトを W&B にログすると、その特定のアーティファクトのバージョンを Registry 内のコレクションにリンクできます。

“リンク” という用語は、W&B がアーティファクトを保存する場所と、Registry 内でそのアーティファクトにアクセスできる場所を結び付けるポインターを指します。アーティファクトをコレクションにリンクしても、W&B はアーティファクトを複製しません。

たとえば、次のコード例では、"my_model.txt" というモデルアーティファクトをログし、"model" という Registry 内の "first-collection" というコレクションにリンクします。

wandb.init() で W&B run を初期化します。
wandb.Run.log() でアーティファクトを W&B にログします。
Registry が存在することを確認します。
アーティファクトのバージョンのリンク先となるコレクション名と Registry 名を指定します。
wandb.Run.link_artifact() を使用して、アーティファクトをコレクションにリンクします。

この Python コードをスクリプトに保存して実行してください。W&B Python SDK バージョン 0.18.6 以降が必要です。

hello_collection.py

import wandb
import random

# アーティファクトをトラッキングするために W&B run を初期化します
with wandb.init(project="registry_quickstart") as run:
    # ログできるように模擬モデルファイルを作成します
    with open("my_model.txt", "w") as f:
        f.write("Model: " + str(random.random()))

    # アーティファクトを W&B にログします
    logged_artifact = run.log_artifact(
        artifact_or_path="./my_model.txt", 
        name="mnist_model", 
        type="model" # アーティファクト タイプを指定します
    )

    # アーティファクトをパブリッシュするコレクションと
    # Registry の名を指定します
    COLLECTION_NAME = "first-collection"
    REGISTRY_NAME = "model"

    # アーティファクトを Registry にリンクします
    run.link_artifact(
        artifact=logged_artifact, 
        target_path=f"wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}"
    )

返された run オブジェクトの wandb.Run.link_artifact(target_path = "") メソッドで指定したコレクションが、指定した Registry 内に存在しない場合、W&B が自動的にコレクションを作成します。前の例に続いて、スクリプトを実行した後、Registry にアクセスして、自分や組織の他のメンバーがパブリッシュしたアーティファクトのバージョンを表示します。プロジェクトのサイドバーで Applications の下にある Registry を選択します。"Model" Registry を選択します。Registry 内に、リンクしたアーティファクトのバージョンを含む "first-collection" コレクションが表示されます。アーティファクトのバージョンを Registry 内のコレクションにリンクすると、適切な権限を持つ組織のメンバーは、アーティファクトのバージョンの表示、ダウンロード、整理、管理、下流のオートメーションの作成などを行えます。

アーティファクトのバージョンがメトリクスをログする場合 (wandb.Run.log_artifact() を使用する場合など) 、その詳細ページでそのバージョンのメトリクスを表示でき、コレクションのページでアーティファクトのバージョン間のメトリクスを比較できます。Registry 内のリンクされたアーティファクトを表示するを参照してください。

Registry を有効にする

デプロイメントタイプに応じて、以下の条件を満たして Registry を有効にしてください。

デプロイメントタイプ	有効にする方法
Multi-tenant Cloud	action は不要です。Registry は W&B アプリで利用できます。
専用クラウド	デプロイメントで Registry を有効にするには、担当のアカウントチームにお問い合わせください。
セルフマネージド	Server v0.71.0 以降では、action は不要です。Registry はデフォルトで有効です。サポートされる古いサーバーバージョンでは、Registry を有効にするために W&B の担当アカウントチームにお問い合わせください。

はじめに役立つリソース

ユースケースに応じて、以下のリソースを参考に W&B Registry の使用を始めてください。

チュートリアル動画をご覧ください。
- W&B Registry の使用を始める
W&B の Model CI/CD コースを受講して、以下の方法を学んでください。
- Registry を使用してアーティファクトを管理し、バージョン管理を行い、リネージをトラッキングし、モデルを異なるライフサイクルステージにプロモートする方法。
- webhook を使用してモデル管理ワークフローを自動化する方法。
- モデル評価、モニタリング、デプロイメントのために、Registry を外部の ML システムやツールと統合する方法。

​基本を学ぶ

​Registry を有効にする

​はじめに役立つリソース

基本を学ぶ

Registry を有効にする

はじめに役立つリソース