View Eval Tables - CoreWeave Docs

Eval Table を作成する際は、入力、出力、スコアを含む列を指定します。W&B は、Eval Table 内の対応するセクションに列をグループ化します。次の例は、EvalTable オブジェクトの基本構造を示しています。

import wandb

wandb.EvalTable(
    input_columns=["column1", "column2"],
    output_columns=["output_column1", "output_column2"],
    score_columns=["score_column1", "score_column2"],
)

以下の各引数に、1 つ以上の列名を渡します。

input_columns: 画像、プロンプト、正解ラベルなど、モデルに提供されるデータです。
output_columns: 予測や生成された応答など、モデルが生成する値です。
score_columns: 出力の評価に使用するメトリクスやその他の値です。

W&B は、これらの列を Eval Table の Inputs、出力、Scores セクションに表示します。

このページのサンプルでは、Eval Table の作成のコードを使用します。コードを表示を展開すると、サンプル全体を表示またはコピーできます。

コードを表示

import pandas as pd
import wandb

df = pd.DataFrame(
    [
        {
            "image_id": "img_001",
            "true_label": "cat",
            "predicted_label": "cat",
            "confidence": 0.97,
            "correct": True,
        },
        {
            "image_id": "img_002",
            "true_label": "dog",
            "predicted_label": "cat",
            "confidence": 0.72,
            "correct": False,
        },
        {
            "image_id": "img_003",
            "true_label": "car",
            "predicted_label": "car",
            "confidence": 0.89,
            "correct": True,
        },
    ]
)

df["correct"] = df["correct"].astype(object)  # Python ネイティブの bool 値を保持します

with wandb.init(project="classifier-eval-table-demo") as run:
    eval_table = wandb.EvalTable(
        dataframe=df,
        input_columns=["image_id", "true_label"],
        output_columns=["predicted_label"],
        score_columns=["correct", "confidence"],
    )
    run.log({"validation_predictions_eval": eval_table})

例として、Eval Table の作成のコード例を見てみましょう。

import wandb

with wandb.init(project="classifier-eval-table-demo") as run:
    eval_table = wandb.EvalTable(
        dataframe=df,
        input_columns=["image_id", "true_label"],
        output_columns=["predicted_label"],
        score_columns=["correct", "confidence"],
    )
    run.log({"validation_predictions_eval": eval_table})

この例では：

Inputsセクションには、image_id 列と true_label 列が含まれます。
出力セクションには、predicted_label 列が含まれます。
Scoresセクションには、correct 列と confidence 列が含まれます。

次の画像では、これらのセクションが強調表示されています：

詳細ビュー

行を選択すると、そのサンプルの詳細ビューが開きます。詳細ビューには、サンプルの入力、出力、スコアが表示されます。次の画像は、Eval Table の最初の行の詳細ビューを示しています。

表に多数の列がある場合や、複数の run 間で結果を比較する場合は、詳細ビューを使用してサンプルを確認します。 Inputs セクションの上にある上矢印または下矢印を選択すると、現在の表ビュー内のサンプル間を移動できます。

データをフィルタリングする

フィルターを使用すると、特定の条件に一致する行だけを表示できます。フィルターを追加するには、次の手順を実行します。

表の上にある フィルター ボタンを選択します。
ドロップダウンから、フィルタリングする列を選択します。
オペレーターを選択します。
値を指定します。

W&B によってフィルターが表に自動的に適用され、条件に一致する行だけが表示されます。

フィルターは複数適用できます。フィルターを削除するには、その横にある X を選択します。

列の表示と非表示

Columns メニューを使用して、Eval Table に表示する列を制御します。表示できる列は、表にログされたデータによって異なります。列を表示または非表示にするには:

表の上にある Columns を選択します。
表示する列を選択し、非表示にする列は選択を解除します。

次の画像は、利用可能なすべての列が選択された状態の Columns メニューを示しています。

​詳細ビュー

​データをフィルタリングする

​列の表示と非表示

詳細ビュー

データをフィルタリングする

列の表示と非表示