エージェントスパンを使用して独自のバケット（BYOB）内のメディアを参照する

Weave で表示したいメディアがすでに独自のバケットに保存されている場合は、この手法を使用します。例:

動画パイプラインのフレーム
ブラウザーエージェントのスクリーンショット
モデルが S3 に書き込んだ画像

これらのバイトを Weave に再アップロードする代わりに、オブジェクトの URI を string としてログすると、Weave がバケットから画像や動画をインラインでレンダリングします。Weave に送信されるのは URI のみで、バイトデータはバケット内に残ります。2 GB の動画をログする場合でも、コストはパスをログする場合と変わりません。これは、Content API を使用したメディアのログとは異なります。Content API ではバイトデータを読み取り、Weave に保存します。

これは Weave のフィーチャーであり、W&B のアーティファクトおよび run のストレージに使用されるプラットフォーム BYOB (セキュアストレージコネクタ) とは別のものです。参照メディア用のバケットはチームごとに設定し、必要なのは読み取りアクセス権のみです。

仕組み

参照メディアのレンダリングは、次の 3 つのステップで行われます。

メディアオブジェクトをバケットに保存します (例: s3://[YOUR-BUCKET]/frames/000123.png) 。
その URI を string 値として、トレース内の任意の場所 (Op の入力や出力、エージェントのツール結果など) にログします。フィールド名は問いません。
トレースを開くと、Weave が URI を有効期間の短い事前署名付き URL に解決し、インラインでレンダリングします。レンダリング方法はファイル拡張子によって決まります。一般的な画像形式 (.png、.jpg、.gif など) や動画形式 (.mp4、.mov、.webm など) はインラインでレンダリングされ、それ以外の形式はダウンロードリンクとして表示されます。

Weave が解決するのは、チームに登録されたバケットを指す URI のみです。サポートされるスキームは s3:// と gs:// です。

前提条件

このフィーチャーは W&B Multi-tenant Cloud でサポートされています。専用クラウドおよびセルフマネージド v0.84.0 以降では、プレビューとして提供されています。
CoreWeave Forge アカウントと APIキー。
自身が管理するクラウドストレージバケット (S3 または GCS)。バケットには 1 つ以上のオブジェクトが含まれている必要があります。
組織管理者の権限。参照バケットの追加には、組織内でのチーム作成と同じ権限が必要です。

バケットを設定する

W&B にバケットへの読み取りアクセス権を付与し、ブラウザーが CORS を使用してオブジェクトを取得できるようにします。トレースを表示すると、W&B は参照されている各オブジェクトについて、有効期間の短い署名付きダウンロード URL を生成します。署名付き URL を正しく生成できるよう、W&B インテグレーションのプリンシパルにバケットへの読み取りアクセス権を付与してください。このアクセス権は、インラインでのレンダリングに使用する読み取り専用のものです。

AWS S3
Google Cloud Storage

W&B インテグレーションのプリンシパルに s3:GetObject を付与するバケットポリシーを適用します。以下の内容を bucket-policy.json として保存し、[YOUR-BUCKET] を実際のバケット名に置き換えます。

{
  "Version": "2012-10-17",
  "Id": "WandBAccess",
  "Statement": [{
    "Sid": "WandbAccess",
    "Effect": "Allow",
    "Principal": {"AWS": "arn:aws:iam::725579432336:role/WandbIntegration"},
    "Action": "s3:GetObject",
    "Resource": "arn:aws:s3:::[YOUR-BUCKET]/*"
  }]
}

次に、このポリシーをバケットに適用します。

aws s3api put-bucket-policy --bucket [YOUR-BUCKET] --policy file://bucket-policy.json

アプリがブラウザーでオブジェクトを取得できるように、CORS 設定を適用します。以下の内容を cors.json として保存します。

{
  "CORSRules": [{
    "AllowedHeaders": ["*"],
    "AllowedMethods": ["GET", "HEAD"],
    "AllowedOrigins": ["https://forge.coreweave.com"],
    "ExposeHeaders": ["ETag"],
    "MaxAgeSeconds": 3000
  }]
}

次に、この設定をバケットに適用します。

aws s3api put-bucket-cors --bucket [YOUR-BUCKET] --cors-configuration file://cors.json

オブジェクトがカスタマー管理の KMS キーで暗号化されている場合は、そのキーポリシーでも arn:aws:iam::725579432336:role/WandbIntegration に kms:Decrypt を付与する必要があります。バケットポリシーだけでは不十分です。

W&B インテグレーションのサービスアカウントに、バケットに対する roles/storage.objectViewer を付与します。[YOUR-BUCKET] は実際のバケット名に置き換えてください。
gcloud storage buckets add-iam-policy-binding gs://[YOUR-BUCKET] \ --member="serviceAccount:wandb-integration@wandb-production.iam.gserviceaccount.com" \ --role="roles/storage.objectViewer"

アプリがブラウザーでオブジェクトを取得できるように、CORS 設定を適用します。以下の内容を cors.json として保存します。

[{
  "origin": ["https://forge.coreweave.com"],
  "method": ["GET", "HEAD"],
  "responseHeader": ["ETag"],
  "maxAgeSeconds": 3000
}]

次に、この設定をバケットに適用します。

gcloud storage buckets update gs://[YOUR-BUCKET] --cors-file=cors.json

これで、Weight & Biases がバケットからオブジェクトを読み取れるようになり、UI でもブラウザー上でオブジェクトを取得できるようになります。

参照バケットを登録する

Weave が参照先の URI の署名付き URL を生成して表示できるように、チーム設定でバケットを登録します。

チーム設定ページ (https://forge.coreweave.com/wandb/[YOUR-TEAM]/settings) に移動します。
Reference buckets セクションで、Add bucket を選択します。
クラウドプロバイダー (AWS または Google Cloud) を選択します。
バケット名には、s3:// や gs:// の接頭辞を付けずに [YOUR-BUCKET] のみを入力します。
オブジェクトキーには、バケット内の既存オブジェクトのキーを入力します (例: photos/cat.png) 。完全な URL ではなく、オブジェクトキーのみを入力してください。W&B はこのオブジェクトを 1 つ読み取り、読み取りアクセス権があることと、CORS が正しく設定されていることを確認します。この確認はアクセスをチェックするためだけのものです。検証が完了すると、バケット内のどのオブジェクトに対しても署名付き URL を生成できます。
必要に応じて Test connection を選択し、保存せずに設定を検証します。
Add bucket を選択して保存します。

チーム設定の「Add reference bucket」ダイアログ。クラウドプロバイダー、バケット名、既存のオブジェクトキーの各フィールドと、Test connection ボタンおよび Add bucket ボタンが表示されています。

バケットを登録するまで、参照先の URI はレンダリングされません。Weave がオブジェクトの署名付き URL を生成して表示するには、登録が必要です。

エージェントスパンを使用してメディア参照をログする

エージェントのツール結果としてバケット URI を返すと、Weave は Agents ビューで、その結果を生成したツール呼び出しにインラインでレンダリングします。次の例では、会話、ターン、ツールスパンを開始し、バケット URI をツールの結果として設定します。[YOUR-TEAM]、[YOUR-PROJECT]、[YOUR-BUCKET] をそれぞれの値に置き換えてください。

Python
TypeScript

import weave

weave.init("[YOUR-TEAM]/[YOUR-PROJECT]")

# バケットにすでに存在するオブジェクトを返すツールです。
def get_frame(frame_id: int) -> str:
    return f"s3://[YOUR-BUCKET]/frames/{frame_id:06d}.png"

with weave.start_conversation(agent_name="frame-labeler") as conversation:
    with weave.start_turn(user_message="Show me frame 123", model="gpt-4o-mini"):
        with weave.start_tool(
            name="get_frame",
            arguments='{"frame_id": 123}',
            tool_call_id="call_1",
        ) as tool:
            # 結果はバケット URI 文字列です。Agents ビューでインラインにレンダリングされます。
            tool.result = get_frame(123)

import * as weave from 'weave';

await weave.init('[YOUR-TEAM]/[YOUR-PROJECT]');

// バケットにすでに存在するオブジェクトを返すツールです。
function getFrame(frameId: number): string {
  return `s3://[YOUR-BUCKET]/frames/${String(frameId).padStart(6, '0')}.png`;
}

const conversation = weave.startConversation({agentName: 'frame-labeler'});
const turn = weave.startTurn({model: 'gpt-4o-mini'});
const tool = weave.startTool({
  name: 'getFrame',
  args: JSON.stringify({frameId: 123}),
  toolCallId: 'call_1',
});
// 結果はバケット URI 文字列です。Agents ビューでインラインにレンダリングされます。
tool.result = getFrame(123);
tool.end();
turn.end();
conversation.end();

この例では、Weave のエージェントスパンを使用しています。LLM Call と完全なエージェントループを含む、マルチターンの設定全体については、カスタムエージェントのクイックスタートを参照してください。

Weave Agents で参照を表示する

weave.init() が出力するリンクから会話を開きます。参照先の画像や動画は、Agents ビュー内で、URI を返したツール呼び出しにインラインでレンダリングされます。オブジェクトが存在しない、バケットが登録されていないなどの理由で Weave が URI を解決できない場合は、URI 文字列がそのまま表示されます。

自身のクラウドバケット内のオブジェクトを指すバケット URI から解決され、Weave Agents ビュー内のツール呼び出しにインラインでレンダリングされた参照先の画像。

​仕組み

​前提条件

​バケットを設定する

​参照バケットを登録する

​エージェント スパンを使用してメディア参照をログする

​Weave Agents で参照を表示する

仕組み

前提条件

バケットを設定する

参照バケットを登録する

エージェントスパンを使用してメディア参照をログする

Weave Agents で参照を表示する