オブジェクトをトラッキングしてバージョン管理する

このページでは、Weave でバージョン管理されたオブジェクトをパブリッシュ、取得、削除、参照する方法について説明します。データセット、モデル、プロンプトなどの構造化データを、複数の run をまたいで継続的にトラッキングしたい場合に参照してください。

オブジェクト

オブジェクト は、バージョン管理されたシリアライズ可能なデータです。Weave はオブジェクトの変更時に自動でバージョンを付与し、不変の履歴を作成します。オブジェクトには次のものがあります。

データセット: 評価に使用するサンプルのコレクション
モデル: LLM ロジックの設定とパラメーター
プロンプト: バージョン管理されたプロンプトテンプレート

dataset = weave.Dataset(
    name="test-cases",
    rows=[
        {"input": "What is 2+2?", "expected": "4"},
        {"input": "What is the capital of France?", "expected": "Paris"},
    ]
)
weave.publish(dataset)

オブジェクトをパブリッシュする

Weave のシリアライズレイヤーは、オブジェクトの保存とバージョン管理を行います。

Python
TypeScript

import weave
weave.init("your-team-name/your-project-name")
# リストを 'cat-names' という名前で保存します
weave.publish(['felix', 'jimbo', 'billie'], 'cat-names')

TypeScript でのパブリッシュのサポートは限定的です。すべてのオブジェクトがサポートされるわけではありません。

import * as weave from 'weave'

const client = await weave.init("your-team-name/your-project-name")

// 配列を 'cat-names' という名前で保存します
client.publish(['felix', 'jimbo', 'billie'], 'cat-names')

名前を付けてオブジェクトを保存すると、その名前のオブジェクトがまだ存在しない場合は、Weave によって最初のバージョンが作成されます。

オブジェクトを取得する

パブリッシュした後は、その ref を使って保存済みオブジェクトを取得できます。

Python
TypeScript

weave.publish() は Ref を返します。任意の Ref に対して .get() を呼び出すと、オブジェクトを取得できます。ref を作成し、そこからオブジェクトを取得することもできます。

weave.init("your-team-name/your-project-name")
cat_names = weave.ref('cat-names').get()

This feature isn't available in TypeScript yet.

オブジェクトを削除する

オブジェクトの特定のバージョンが不要になった場合は、その ref を使って削除できます。

Python
TypeScript

オブジェクトのバージョンを削除するには、そのオブジェクトの ref に対して .delete() を呼び出します。

weave.init("your-team-name/your-project-name")
cat_names_ref = weave.ref('cat-names:v1')
cat_names_ref.delete()

削除済みのオブジェクトにアクセスすると、エラーが返されます。削除済みのオブジェクトを参照しているオブジェクトを解決すると、削除済みのオブジェクトの代わりに DeletedRef が返されます。

This feature isn't available in TypeScript yet.

オブジェクトの ref を構築する

ref は、保存済みオブジェクトとそのバージョンを一意に識別します。以下のセクションでは、URI の構造と ref の構築方法について説明します。 Weave では、完全修飾されたオブジェクト ref URI は次のような形式になります。

weave:///[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]/object/[OBJECT-NAME]:[OBJECT-VERSION]

[YOUR-TEAM-NAME]: Weights & Biases の entity (ユーザー名またはチーム名)
[YOUR-PROJECT-NAME]: Weights & Biases の project
[OBJECT-NAME]: オブジェクト名
[OBJECT-VERSION]: バージョンハッシュ、v0 や v1 のような string、または :latest のようなエイリアスのいずれかです。すべてのオブジェクトには :latest エイリアスが付いています。独自のエイリアスを作成する方法については、タグとエイリアスでオブジェクトのバージョンを整理するを参照してください。

ref は、次のいずれかの形式で作成できます。

weave.ref([NAME]): オブジェクトの :latest バージョンを取得します。事前に weave.init(...) を呼び出す必要があります。
weave.ref([NAME]:[VERSION]): オブジェクトの指定したバージョンを取得します。事前に weave.init(...) を呼び出す必要があります。
weave.ref([FULLY-QUALIFIED-REF-URI]): 指定した完全修飾オブジェクト ref URI にあるオブジェクトを取得します。weave.init() を呼び出す必要はありません。

タグとエイリアスでオブジェクトのバージョンを整理する

タグと エイリアス を使用すると、Dataset、Model、Prompt をはじめ、weave.publish でパブリッシュしたあらゆる Weave オブジェクトの特定のバージョンにラベルを付けられます。これらのラベルはどの ObjectRef でも機能するため、オブジェクトのタイプを問わず同じ API を使用できます。

エイリアス: 単一のバージョンに解決される一意の名前です。エイリアスはいつでも別のバージョンに付け替えられるため、production や staging のような固定の参照先として便利です。すべてのオブジェクトには、最新バージョンを指す :latest エイリアスが自動的に付与されます。
タグ: バージョンに関連付ける説明用のラベルです。1 つのバージョンに複数のタグを付けられ、同じタグを複数のバージョンに付けることもできます。タグは、reviewed や passed-eval のようにバージョンを分類したりフィルターしたりするのに使用します。

タグとエイリアスで使用できる文字と長さについては、命名規則を参照してください。エイリアスまたは特定のバージョンを解決するには、ref 内のオブジェクト名の後に付加します。次の例では、データセットの 2 つのバージョンをパブリッシュし、各バージョンにタグとエイリアスを割り当てて更新します。

import weave

client = weave.init("[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]")

# オブジェクトの 2 つのバージョンをパブリッシュします。
dataset_v0 = weave.publish(
    weave.Dataset(name="test-cases", rows=[{"input": "ping", "expected": "pong"}]),
)
dataset_v1 = weave.publish(
    weave.Dataset(name="test-cases", rows=[{"input": "ping", "expected": "pong!"}]),
)

# バージョンにエイリアスを設定します。
client.set_aliases(dataset_v0, "staging")
client.set_aliases(dataset_v1, "production")

# エイリアスを使用してオブジェクトを取得します
dataset = weave.ref("test-cases:production").get()

# project 内のすべてのエイリアスを一覧表示します。
client.list_aliases()

# --- タグ: 特定のバージョンに付けるラベル。 ---

# バージョンにタグを追加します。
client.add_tags(dataset_v0, ["reviewed", "passed-eval"])
client.add_tags(dataset_v1, ["reviewed", "needs-improvement"])

# バージョンのタグを取得します。
client.get_tags(dataset_v0)  # ["passed-eval", "reviewed"]

# project 内のすべての一意なタグを一覧表示します。
client.list_tags()

この機能は TypeScript SDK ではまだ利用できません。

命名規則

オブジェクト名、タグ、エイリアスは、以下の規則に従う必要があります。規則に違反するタグやエイリアスは Weave によって拒否されます。

名前	長さ	使用可能な文字	その他の規則
オブジェクト名	1～128 文字	英字、数字、アンダースコア (`_`) 、ピリオド (`.`) 、ハイフン (`-`)	なし
タグ	1～256 文字	英字、数字、アンダースコア (`_`) 、ハイフン (`-`) 、スペース	スペースは単語間に 1 つずつのみ使用できます。タグの先頭や末尾にスペースを置くことはできません。
エイリアス	1～128 文字	`/` と `:` 以外の任意の文字	空白のみにすることはできません。`latest` と、`v0` や `v12` などのバージョン名は、ref でバージョンを選択するために使用されるため予約されています。

オブジェクトをパブリッシュする前に、Python SDK は名前を以下の規則に照らしてチェックし、必要に応じて書き換えます。

英字、数字、アンダースコア、ピリオド以外の文字が連続する部分を、それぞれ 1 つのハイフンに置き換えます。
ピリオド、アンダースコア、ハイフンが 2 つ以上連続する部分を、それぞれ 1 つのハイフンに置き換えます。
名前の先頭と末尾にあるハイフンとアンダースコアを削除します。
それでも名前が 128 文字を超える場合は、先頭の 128 文字のみを残し、警告をログします。

書き換えの結果、名前が空になった場合、weave.publish() は ValueError を送出します。weave.publish() が返す ref には書き換え後の名前が含まれるため、オブジェクトを取得する際はその名前を使用してください。 TypeScript SDK は、client.publish() に渡した名前を書き換えません。名前がオブジェクト名の規則に違反している場合、リクエストは失敗します。 Op 名と Call の表示名の制限については、名前の長さの制限を参照してください。

Weights & Biases

ガイド

インテグレーション

リファレンス

サポート

オブジェクトをトラッキングしてバージョン管理する