Compare evaluations

W&B Weave の Compare evaluations ビューでは、ログした 2 つ以上の評価を並べて確認できます。プロンプト、モデル、Scorer を変更した際に run 間でメトリクスがどう変化するかを確認できるほか、結果から結論を導く前にデータセットや Scorer の不整合を検出するのにも役立ちます。 このガイドは、Weights & Biases の UI でログ済みの評価を比較したい Weave ユーザーを対象としています。Compare evaluations ビューの開き方、サマリーチャートと結果の表に表示される内容、および比較内容を調整するための action (ベースラインの設定、評価の並べ替え、比較からの評価の削除など) について説明します。

​

Compare evaluations ビューにアクセスする

Compare evaluations ビューを開くには、次の手順を実行します。

1. Weave プロジェクトのサイドバーで、Evals を選択します。
2. 評価の表で、比較する 2 つ以上の評価のチェックボックスをオンにします。
3. 評価の表のツールバーで、Compare を選択します。

Compare evaluations ビューが開き、選択した各評価がページ上部の比較バーにトークンとして表示されます。デフォルトでは一番左の評価がベースラインとなり、その他の評価はすべてこのベースラインと比較されます。

​

比較結果を確認する

Compare evaluations ビューには 2 つのタブがあります。

• Summary: 比較対象の評価について、メトリクスごとの集計チャートが表示され、その下にプロパティとメトリクスの表が表示されます。
• Dataset results: 出力を行ごとに比較できる、例ごとの結果の表が表示されます。また、2 つの評価を比較する場合は、差異の把握に役立つ散布図も表示されます。

​

Summary タブ

Summary タブはデフォルトで開きます。このタブは 2 つの領域で構成されています。

• Charts: 比較対象のすべての評価のメトリクス値をプロットしたレーダーチャートと、その下に続くメトリクスごとのチャート (数値メトリクスには棒グラフ、合格/不合格メトリクスにはカバレッジチャート) 。
• Properties and metrics table: チャートの下にある表で、各評価の設定と集計スコアを一覧表示します。

プロパティとメトリクスの表には、比較対象の各評価について次の情報が表示されます。

• Evaluation: 評価 ID。
• Model: 評価でスコア付けされたモデルのバージョン。
• Dataset: 評価の実行に使用したデータセットのバージョン。
• Properties: 評価に記録されたその他のプロパティ。
• Metrics: 評価の Scorer が生成した各メトリクスの集計値。

数値メトリクスでは、ベースラインとの差が値の横に色付きのバッジで表示されます。色は、その変化がメトリクスにとって好ましい方向か好ましくない方向かを表します。デフォルトでは値が高いほど良いとみなされるため、緑のバッジは増加を、赤のバッジは減少を示します。値が低いほど良いと設定されたメトリクスでは、色が逆になります。 比較対象のすべての評価で同一のプロパティとメトリクスを非表示にするには、Diff only をオンにします。 比較結果の解釈に影響しうる差異を検出すると、Weave は表内に警告を表示します。

• Dataset inconsistency detected: 比較対象の評価間でデータセットが異なります。集計メトリクスを直接比較できない場合があり、Dataset results タブには各データセットに共通するサンプルのみが表示されます。
• Scoring inconsistency detected: 比較対象の評価間で Scorer が異なります。評価ごとにスコアリングのロジックが異なるため、結果は慎重に比較してください。

また、Weave はサマリーを見やすく保つため、比較対象のすべての評価に共通していないスコアフィールドを非表示にします。非表示のフィールドがある場合は、ビュー上部の情報バナーにその数が表示されます。表示するフィールドを選ぶには、Manage fields を選択します。

​

Dataset results タブ

Dataset results を選択すると、選択した評価間でデータセットのサンプルを個別に比較できます。各行は 1 つのデータセットのサンプルに対応し、データセットの入力とともに、各評価の出力と Scorer のメトリクスが表示されます。これにより、特定のサンプルのどこで結果が分かれているかを確認できます。行を選択すると、詳細を並べて比較できるビューが開きます。 評価を 2 つだけ比較する場合、このタブでは表の上に 2 つの散布図が表示されます。各散布図では、各ポイントが 1 つのデータセットのサンプルを表し、2 つの評価それぞれのメトリクス値に基づいて配置されます。そのため、評価間で結果が分かれているサンプルがひと目でわかります。ポイントの領域を選択 (ブラシ) すると、表に表示するサンプルを絞り込めます。また、各散布図の Dimension メニューで、プロットするメトリクスを選択できます。 Dataset results タブを使用するには、比較する評価のデータセットに共通の行が含まれている必要があります。共通の行がない場合、結果の表は表示されません。

​

Compare evaluations ビューをカスタマイズする

Compare evaluations ビューでは、評価の並び順や、比較対象に含める評価を調整できます。以下のセクションでは、実行できる action について説明します。

​

ベースラインを設定する

デフォルトでは、比較バーの一番左にある評価がベースラインとなり、他のすべての評価はこのベースラインと比較されます。特定の評価をすべての比較の基準にしたい場合は、別の評価をベースラインに指定できます。 評価をベースラインに設定するには、次の手順を実行します。

1. 比較バーで、ベースラインに設定する評価にポインタを合わせます。
2. ID の右側にある action () メニューをクリックします。
   
3. リストから Make baseline を選択します。UI が更新され、ベースラインの評価が比較バーの一番左に移動し、ID の横に Baseline と表示されます。
   

​

比較の順序を変更する

比較バーで評価をドラッグすると、順序を並べ替えられます。比較表の対応する列も、同じ順序に並べ替えられます。 比較の順序を変更するには、次の手順を実行します。

1. 比較バーで、並べ替える ID にポインターを合わせます。
2. ID の左側にある 6 つの点をクリックしたまま、左右の目的の方向にドラッグします。
3. ID を目的の位置にドロップします。比較データが更新され、新しい順序が反映されます。

​

比較から削除

このオプションは、3 つ以上の評価を比較している場合にのみ使用できます。 評価を比較から削除するには、次の手順を実行します。

1. 比較バーで、比較から削除する評価を検索します。
2. ID の右側にある action () メニューをクリックします。
3. リストから Remove from comparison を選択します。UI が更新され、削除した評価を除いた表が表示されます。