メディアとオブジェクトをログする

画像、動画、オーディオなどをサポートしています。リッチメディアをログすると、結果を探索し、run、モデル、データセットを視覚的に比較できます。サンプルとハウツーガイドについては、以下をお読みください。

詳細については、データタイプ reference を参照してください。

詳細については、モデル予測を視覚化するデモ report または動画 walkthrough をご覧ください。

前提条件

W&B SDK でメディアオブジェクトをログするには、追加の依存関係をインストールする必要がある場合があります。次のコマンドを実行して、これらの依存関係をインストールできます。

pip install wandb[media]

画像

画像をログして、入力、出力、フィルターの重み、活性化などをトラッキングします。

画像は NumPy 配列から直接ログしたり、PIL 画像として、またはファイルシステムからログできます。ステップごとに画像をログするたびに、UI で利用可能になります。画像パネルを展開し、ステップスライダーを使用して異なるステップの画像を確認できます。これにより、トレーニング中にモデルの出力がどのように変化するかを簡単に比較できます。メディアパネルをクリックして画像を全画面モードで表示できます。そこでは、キーボードショートカットを使用してズームやパンも可能です。異なる run、ステップ、またはインデックスの画像や動画を 1 つのビューで比較するには、メディアパネルで Compare モードを使用します。

トレーニング中のログ記録や結果の表示時の画像読み込みがボトルネックにならないよう、ステップごとに 50 枚未満の画像をログすることを推奨します。

配列を画像としてログする
PIL 画像をログする
ファイルから画像をログする

torchvision の make_grid を使用するなど、手動で画像を構築する際に配列を直接指定します。配列は Pillow を使用して png に変換されます。

import wandb

with wandb.init(project="image-log-example") as run:

    images = wandb.Image(image_array, caption="Top: Output, Bottom: Input")

    run.log({"examples": images})

最後の次元が 1 の場合はグレースケール、3 の場合は RGB、4 の場合は RGBA とみなします。配列に float が含まれる場合は 0 から 255 の整数に変換します。画像を別の方法で正規化したい場合は、mode を手動で指定するか、このパネルの「PIL 画像をログする」タブで説明するように PIL.Image を指定します。

配列から画像への変換を完全に制御するには、PIL.Image を自分で構築して直接指定します。

from PIL import Image

with wandb.init(project="") as run:
    # Create a PIL image from a NumPy array
    image = Image.fromarray(image_array)

    # Optionally, convert to RGB if needed
    if image.mode != "RGB":
        image = image.convert("RGB")

    # Log the image
    run.log({"example": wandb.Image(image, caption="My Image")})

さらに制御したい場合は、任意の方法で画像を作成し、ディスクに保存してファイルパスを指定します。

import wandb
from PIL import Image

with wandb.init(project="") as run:

    im = Image.fromarray(...)
    rgb_im = im.convert("RGB")
    rgb_im.save("myimage.jpg")

    run.log({"example": wandb.Image("myimage.jpg")})

画像オーバーレイ

セグメンテーションマスク
バウンディングボックス

セマンティックセグメンテーションマスクをログし、W&B UI でそれらを操作します (不透明度の変更、時間の経過に伴う変化の表示など) 。

オーバーレイをログするには、wandb.Image の masks キーワード引数に、以下のキーと値を持つ辞書を提供します：

画像マスクを表す 2 つのキーのいずれか：
- "mask_data": 各ピクセルの整数クラスラベルを含む 2D NumPy 配列
- "path": (string) 保存された画像マスクファイルへのパス
"class_labels": (オプション) 画像マスク内の整数クラスラベルを読みやすいクラス名にマッピングする辞書

複数のマスクをログするには、以下のコードスニペットのように、複数のキーを持つマスク辞書をログします。ライブ例を見るサンプルコード

mask_data = np.array([[1, 2, 2, ..., 2, 2, 1], ...])

class_labels = {1: "tree", 2: "car", 3: "road"}

mask_img = wandb.Image(
    image,
    masks={
        "predictions": {"mask_data": mask_data, "class_labels": class_labels},
        "ground_truth": {
            # ...
        },
        # ...
    },
)

各 step において、キーごとのセグメンテーションマスクが定義されます (run.log() の各呼び出し)。

同じマスクキーの値が異なる step で提供された場合、そのキーに対する最新の値のみが画像に適用されます。
異なるマスクキーが step で提供された場合、各キーのすべての値が表示されますが、表示中の step で定義されたもののみが画像に適用されます。step で定義されていないマスクの可視性を切り替えても、画像は変わりません。

画像とともにバウンディングボックスをログし、フィルターとトグルを使用して、UI でさまざまなボックスのセットを動的に視覚化します。

ライブの例を見るバウンディングボックスをログするには、以下のキーと値を持つ辞書を wandb.Image の boxes キーワード引数に渡す必要があります。

box_data: 各ボックスに対応する辞書のリスト。ボックス辞書のフォーマットについては後述します。
- position: 後述する2つのフォーマットのいずれかで、ボックスの位置とサイズを表す辞書。すべてのボックスで同じフォーマットを使用する必要はありません。
  - オプション 1: {"minX", "maxX", "minY", "maxY"}。各ボックスの寸法の上下限を定義する座標のセットを指定します。
  - オプション 2: {"middle", "width", "height"}。middle 座標を [x,y] とし、width と height をスカラーとする座標のセットを指定します。
- class_id: ボックスのクラスアイデンティティを表す整数。後述の class_labels キーを参照してください。
- scores: スコアの string ラベルと数値の辞書。UI でボックスをフィルタリングするために使用できます。
- domain: ボックス座標の単位/フォーマットを指定します。ボックス座標が画像の寸法の範囲内の整数など、ピクセル空間で表現されている場合は、これを “pixel” に設定します。デフォルトでは、ドメインは画像の割合/パーセンテージであると想定され、0 から 1 の間の浮動小数点数として表現されます。
- box_caption: (オプション) このボックスのラベルテキストとして表示される string
class_labels: (オプション) class_id を strings にマッピングする辞書。デフォルトでは、class_0、class_1 などのクラスラベルが生成されます。

この例を確認してください：

import wandb

class_id_to_label = {
    1: "car",
    2: "road",
    3: "building",
    # ...
}

img = wandb.Image(
    image,
    boxes={
        "predictions": {
            "box_data": [
                {
                    # デフォルトの相対/分数ドメインで表現された1つのボックス
                    "position": {"minX": 0.1, "maxX": 0.2, "minY": 0.3, "maxY": 0.4},
                    "class_id": 2,
                    "box_caption": class_id_to_label[2],
                    "scores": {"acc": 0.1, "loss": 1.2},
                    # ピクセルドメインで表現された別のボックス
                    # (説明目的のみで、すべてのボックスは
                    # 同じドメイン/形式である可能性が高い)
                    "position": {"middle": [150, 20], "width": 68, "height": 112},
                    "domain": "pixel",
                    "class_id": 3,
                    "box_caption": "a building",
                    "scores": {"acc": 0.5, "loss": 0.7},
                    # ...
                    # 必要なだけ多くのボックスをログする
                }
            ],
            "class_labels": class_id_to_label,
        },
        # 意味のあるボックスの各グループを一意のキー名でログする
        "ground_truth": {
            # ...
        },
    },
)

with wandb.init(project="my_project") as run:
    run.log({"driving_scene": img})

表内の画像オーバーレイ

Segmentation Masks
Bounding Boxes

表にセグメンテーションマスクをログするには、表の各行に wandb.Image オブジェクトを提供する必要があります。以下にコードスニペットの例を示します：

table = wandb.Table(columns=["ID", "Image"])

for id, img, label in zip(ids, images, labels):
    mask_img = wandb.Image(
        img,
        masks={
            "prediction": {"mask_data": label, "class_labels": class_labels}
            # ...
        },
    )

    table.add_data(id, mask_img)

with wandb.init(project="my_project") as run:
    run.log({"Table": table})

表にバウンディングボックス付きの画像をログするには、表の各行に wandb.Image オブジェクトを提供する必要があります。以下にコードスニペットの例を示します：

table = wandb.Table(columns=["ID", "Image"])

for id, img, boxes in zip(ids, images, boxes_set):
    box_img = wandb.Image(
        img,
        boxes={
            "prediction": {
                "box_data": [
                    {
                        "position": {
                            "minX": box["minX"],
                            "minY": box["minY"],
                            "maxX": box["maxX"],
                            "maxY": box["maxY"],
                        },
                        "class_id": box["class_id"],
                        "box_caption": box["caption"],
                        "domain": "pixel",
                    }
                    for box in boxes
                ],
                "class_labels": class_labels,
            }
        },
    )

ヒストグラム

基本的なヒストグラムのログ
柔軟なヒストグラムのログ

リスト、配列、テンソルなどの数値のシーケンスを最初の引数として渡すと、np.histogram() を呼び出してヒストグラムを自動的に作成します。すべての配列とテンソルは平坦化されます。オプションのキーワード引数 num_bins を使用すると、デフォルトの 64 ビンを上書きできます。サポートされるビンの最大数は 512 です。UI では、トレーニング中にログしたヒストグラムを比較しやすいように、X 軸にトレーニングステップ、Y 軸にメトリクス値を取り、件数を色で表します。単発のヒストグラムをログする方法については、このパネルの「Histograms in Summary」タブを参照してください。

run.log({"gradients": wandb.Histogram(grads)})

さらに細かく制御するには、np.histogram() を呼び出し、返されたタプルをキーワード引数 np_histogram に渡します。

np_hist_grads = np.histogram(grads, density=True, range=(0.0, 1.0))
run.log({"gradients": wandb.Histogram(np_hist_grads)})

3D 可視化

バウンディングボックス付きの 3D ポイントクラウドと Lidar シーンをログします。ポイントの座標と色を含む NumPy 配列を渡してレンダリングします。ログされたポイントクラウドは W&B アプリで完全にインタラクティブです。たとえば、以下に埋め込まれた LIDAR Point Clouds of Driving Scenes report では、Lyft データセットのシーンを 3D バウンディングボックス付きで表示しています。ビューアー内でドラッグして回転やズームを行えます。

point_cloud = np.array([[0, 0, 0, COLOR]])

run.log({"point_cloud": wandb.Object3D(point_cloud)})

W&B UI はデータを 300,000 ポイントで切り捨てます。

NumPy 配列形式

柔軟な配色に対応するため、NumPy 配列では 3 種類の形式がサポートされる。

[[x, y, z], ...] nx3
[[x, y, z, c], ...] nx4 | c is a カテゴリ は [1, 14] の範囲です (セグメンテーションに便利です)
[[x, y, z, r, g, b], ...] nx6 | r,g,b は赤、緑、青の色チャンネルについて [0,255] の範囲の値です。

Python オブジェクト

このスキーマを使用すると、Python オブジェクトを定義して、from_point_cloud メソッドに渡すことができます。

points は、上記のシンプルなポイントクラウドレンダラーで示したものと同じフォーマットを使用してレンダリングするポイントの座標と色を含む NumPy 配列です。
boxes は、3 つの属性を持つ Python の辞書の NumPy 配列です:
- corners - 8 つのコーナーのリスト
- label - ボックスにレンダリングされるラベルを表す string (オプション)
- color - ボックスの色を表す rgb 値
- score - バウンディングボックスに表示される数値で、バウンディングボックスのフィルターに使用できます (例: score > 0.75 のバウンディングボックスのみ表示)。(オプション)
type は、レンダリングするシーンのタイプを表す string です。現在サポートされる値は lidar/beta のみです。

point_list = [
    [
        2566.571924017235, # x
        746.7817289698219, # y
        -15.269245470863748,# z
        76.5, # 赤
        127.5, # 緑
        89.46617199365393 # 青
    ],
    [ 2566.592983606823, 746.6791987335685, -15.275803826279521, 76.5, 127.5, 89.45471117247024 ],
    [ 2566.616361739416, 746.4903185513501, -15.28628929674075, 76.5, 127.5, 89.41336375503832 ],
    [ 2561.706014951675, 744.5349468458361, -14.877496818222781, 76.5, 127.5, 82.21868245418283 ],
    [ 2561.5281847916694, 744.2546118233013, -14.867862032341005, 76.5, 127.5, 81.87824684536432 ],
    [ 2561.3693562897465, 744.1804761656741, -14.854129178142523, 76.5, 127.5, 81.64137897587152 ],
    [ 2561.6093071504515, 744.0287526628543, -14.882135189841177, 76.5, 127.5, 81.89871499537098 ],
    # ... など
]

run.log({"my_first_point_cloud": wandb.Object3D.from_point_cloud(
     points = point_list,
     boxes = [{
         "corners": [
                [ 2601.2765123137915, 767.5669506323393, -17.816764802288663 ],
                [ 2599.7259021588347, 769.0082337923552, -17.816764802288663 ],
                [ 2599.7259021588347, 769.0082337923552, -19.66876480228866 ],
                [ 2601.2765123137915, 767.5669506323393, -19.66876480228866 ],
                [ 2604.8684867834395, 771.4313904894723, -17.816764802288663 ],
                [ 2603.3178766284827, 772.8726736494882, -17.816764802288663 ],
                [ 2603.3178766284827, 772.8726736494882, -19.66876480228866 ],
                [ 2604.8684867834395, 771.4313904894723, -19.66876480228866 ]
        ],
         "color": [0, 0, 255], # バウンディングボックスのRGB色
         "label": "car", # バウンディングボックスに表示される string
         "score": 0.6 # バウンディングボックスに表示される数値
     }],
     vectors = [
        {"start": [0, 0, 0], "end": [0.1, 0.2, 0.5], "color": [255, 0, 0]}, # 色はオプション
     ],
     point_cloud_type = "lidar/beta",
)})

ポイントクラウドを表示するとき、control キーを押しながらマウスを使用することで、空間内を移動できます。

ポイントクラウドファイル

from_file メソッドを使用して、ポイントクラウドデータが満載の JSON ファイルを読み込むことができます。

run.log({"my_cloud_from_file": wandb.Object3D.from_file(
     "./my_point_cloud.pts.json"
)})

ポイントクラウドデータのフォーマット方法の例を以下に示します。

{
    "boxes": [
        {
            "color": [
                0,
                255,
                0
            ],
            "score": 0.35,
            "label": "My label",
            "corners": [
                [
                    2589.695869075582,
                    760.7400443552185,
                    -18.044831294622487
                ],
                [
                    2590.719039645323,
                    762.3871153874499,
                    -18.044831294622487
                ],
                [
                    2590.719039645323,
                    762.3871153874499,
                    -19.54083129462249
                ],
                [
                    2589.695869075582,
                    760.7400443552185,
                    -19.54083129462249
                ],
                [
                    2594.9666662674313,
                    757.4657929961453,
                    -18.044831294622487
                ],
                [
                    2595.9898368371723,
                    759.1128640283766,
                    -18.044831294622487
                ],
                [
                    2595.9898368371723,
                    759.1128640283766,
                    -19.54083129462249
                ],
                [
                    2594.9666662674313,
                    757.4657929961453,
                    -19.54083129462249
                ]
            ]
        }
    ],
    "points": [
        [
            2566.571924017235,
            746.7817289698219,
            -15.269245470863748,
            76.5,
            127.5,
            89.46617199365393
        ],
        [
            2566.592983606823,
            746.6791987335685,
            -15.275803826279521,
            76.5,
            127.5,
            89.45471117247024
        ],
        [
            2566.616361739416,
            746.4903185513501,
            -15.28628929674075,
            76.5,
            127.5,
            89.41336375503832
        ]
    ],
    "type": "lidar/beta"
}

NumPy 配列

上記で定義した同じ配列形式を使用して、numpy 配列を直接 from_numpy メソッドで使用し、ポイントクラウドを定義できます。

run.log({"my_cloud_from_numpy_xyz": wandb.Object3D.from_numpy(
     np.array(  
        [
            [0.4, 1, 1.3], # x, y, z
            [1, 1, 1], 
            [1.2, 1, 1.2]
        ]
    )
)})

run.log({"my_cloud_from_numpy_cat": wandb.Object3D.from_numpy(
     np.array(  
        [
            [0.4, 1, 1.3, 1], # x, y, z, カテゴリ 
            [1, 1, 1, 1], 
            [1.2, 1, 1.2, 12], 
            [1.2, 1, 1.3, 12], 
            [1.2, 1, 1.4, 12], 
            [1.2, 1, 1.5, 12], 
            [1.2, 1, 1.6, 11], 
            [1.2, 1, 1.7, 11], 
        ]
    )
)})

run.log({"my_cloud_from_numpy_rgb": wandb.Object3D.from_numpy(
     np.array(  
        [
            [0.4, 1, 1.3, 255, 0, 0], # x, y, z, r, g, b 
            [1, 1, 1, 0, 255, 0], 
            [1.2, 1, 1.3, 0, 255, 255],
            [1.2, 1, 1.4, 0, 255, 255],
            [1.2, 1, 1.5, 0, 0, 255],
            [1.2, 1, 1.1, 0, 0, 255],
            [1.2, 1, 0.9, 0, 0, 255],
        ]
    )
)})

run.log({"protein": wandb.Molecule("6lu7.pdb")})

分子データを 10 種類のファイルタイプ (pdb、pqr、mmcif、mcif、cif、sdf、sd、gro、mol2、または mmtf) のいずれかでログします。 W&B は、SMILES 文字列、rdkit の mol ファイル、および rdkit.Chem.rdchem.Mol オブジェクトから分子データをログすることもサポートします。

resveratrol = rdkit.Chem.MolFromSmiles("Oc1ccc(cc1)C=Cc1cc(O)cc(c1)O")

run.log(
    {
        "resveratrol": wandb.Molecule.from_rdkit(resveratrol),
        "green fluorescent protein": wandb.Molecule.from_rdkit("2b3p.mol"),
        "acetaminophen": wandb.Molecule.from_smiles("CC(=O)Nc1ccc(O)cc1"),
    }
)

run が終了すると、UI で分子の 3D 可視化と対話できるようになります。 AlphaFold を使用したライブ例を見る

PNG 画像

wandb.Image は numpy 配列または PILImage のインスタンスをデフォルトで PNG に変換します。

run.log({"example": wandb.Image(...)})
# または複数の画像
run.log({"example": [wandb.Image(...) for img in images]})

動画

動画は、wandb.Video データタイプを使用してログされます：

run.log({"example": wandb.Video("myvideo.mp4")})

これで、メディアブラウザーで動画を表示できるようになりました。プロジェクトの Workspace、run の Workspace、または report に移動し、Add visualization をクリックしてリッチメディアパネルを追加します。

分子の2Dビュー

wandb.Image データタイプと rdkit を使用して、分子の2Dビューをログできます。

molecule = rdkit.Chem.MolFromSmiles("CC(=O)O")
rdkit.Chem.AllChem.Compute2DCoords(molecule)
rdkit.Chem.AllChem.GenerateDepictionMatching2DStructure(molecule, molecule)
pil_image = rdkit.Chem.Draw.MolToImage(molecule, size=(300, 300))

run.log({"acetic_acid": wandb.Image(pil_image)})

その他のメディア

W&B はさまざまな他のメディアタイプのログするもサポートする。

オーディオ

run.log({"whale songs": wandb.Audio(np_array, caption="OooOoo", sample_rate=32)})

1ステップあたり最大100個のオーディオクリップをログすることができます。使用量情報の詳細については、audio-file を参照してください。

動画

run.log({"video": wandb.Video(numpy_array_or_path_to_video, fps=4, format="gif")})

numpy 配列が指定された場合、次元の順序は時間、チャンネル、幅、高さであると想定されます。デフォルトでは、4 fps の gif 画像が作成されます (numpy オブジェクトを渡す場合、ffmpeg と moviepy Python ライブラリが必要です) 。サポートされるフォーマットは "gif"、"mp4"、"webm"、"ogg" です。wandb.Video に string を渡す場合、wandb にアップロードする前にファイルが存在し、サポートされるフォーマットであることを確認します。BytesIO オブジェクトを渡すと、指定されたフォーマットを拡張子とする一時ファイルが作成されます。 W&B の run および project ページでは、メディアセクションに動画が表示されます。使用量情報の詳細については、video-file を参照してください。

テキスト

wandb.Table を使用して、テキストを表にログし、UI に表示させることができます。デフォルトでは、列ヘッダーは ["Input", "Output", "Expected"] です。UI のパフォーマンスを最適化するため、デフォルトの最大行数は 10,000 に設定されています。ただし、wandb.Table.MAX_ROWS = {DESIRED_MAX} を使用して、最大行数を明示的に上書きすることができます。

with wandb.init(project="my_project") as run:
    columns = ["Text", "Predicted Sentiment", "True Sentiment"]
    # 方法 1
    data = [["I love my phone", "1", "1"], ["My phone sucks", "0", "-1"]]
    table = wandb.Table(data=data, columns=columns)
    run.log({"examples": table})

    # 方法 2
    table = wandb.Table(columns=columns)
    table.add_data("I love my phone", "1", "1")
    table.add_data("My phone sucks", "0", "-1")
    run.log({"examples": table})

pandas の DataFrame オブジェクトを渡すこともできます。

table = wandb.Table(dataframe=my_dataframe)

詳細な使用量情報については、string を参照してください。

HTML

run.log({"custom_file": wandb.Html(open("some.html"))})
run.log({"custom_string": wandb.Html('<a href="https://mysite">Link</a>')})

任意のキーでカスタム HTML をログして、Run page 上に HTML パネルを表示します。デフォルトではデフォルトのスタイルを注入しますが、inject=False を渡すことでデフォルトのスタイルを off にできます。

run.log({"custom_file": wandb.Html(open("some.html"), inject=False)})

使用量情報の詳細については、html-file を参照してください。

​前提条件

​画像

​画像オーバーレイ

​表内の画像オーバーレイ

​ヒストグラム

​3D 可視化

​NumPy 配列形式

​Python オブジェクト

​ポイントクラウド ファイル

​NumPy 配列

​PNG 画像

​動画

​分子の2Dビュー

​その他のメディア

​オーディオ

​動画

​テキスト

​HTML

前提条件

画像

画像オーバーレイ

表内の画像オーバーレイ

ヒストグラム

3D 可視化

NumPy 配列形式

Python オブジェクト

ポイントクラウドファイル

NumPy 配列

PNG 画像

動画

分子の2Dビュー

その他のメディア

オーディオ

動画

テキスト

HTML