評価で動的 Leaderboard を作成する

このガイドでは、動的 Leaderboard を使用して、Weave 評価から直接 Leaderboard ビューを視覚化、カスタマイズ、保存、更新する方法を説明します。動的 Leaderboard を使用すると、新しい実験が蓄積されるにつれてモデル性能を追跡および比較できるため、毎回再作成することなく、永続的で最新のビューを維持できます。このページは、すでに Weave 評価を実行しており、結果を共有可能で再利用可能なビューに整理したいユーザーを対象としています。 Weave 評価を使用する場合、実験結果を Leaderboard として視覚化およびカスタマイズできます。 保存済み Leaderboard ビューは動的です。新しい評価 run を追加し、結果が保存済みフィルターに一致すると、Leaderboard は手動で再設定することなく自動的に更新されます。 これにより、ビューを実験に合わせて進化する永続的な Leaderboard として使用できます。

​

評価結果を Leaderboard で視覚化する

project に Weave Evaluation データが含まれている場合、評価表を使用してフィルターされた結果のサブセットに基づいて Weave Leaderboard ビューをすばやく作成できます。 Weave Leaderboard を作成するには:

1. Forge にアクセスします。
2. Weave サイドバーメニューで Evaluations をクリックします。
3. 評価表にフィルターを適用して、比較したいモデル、データセット、または run にデータを絞り込みます。
4. 評価表ツールバー で Visualize をクリックします。 Weave は表で現在フィルターされているデータのみを使用して Leaderboard パネルを自動的に作成します。
5. Leaderboard パネルヘッダーで Configure をクリックして Edit Leaderboard パネルを開きます。 Edit Leaderboard パネルでは、モデル、データセット、Scorer、メトリクスがどのように表示されるかを細かく制御できます。

以下は、フィルターされた評価表が Leaderboard として視覚化される方法と、結果の Leaderboard を設定する場所を示しています。

​

可視性とカスタム名で Leaderboard の要素を設定する

Edit Leaderboard パネルでは、Leaderboard に表示する要素と、その表示名を制御できます。次の画像は、Models、Datasets、Scorers、Metrics の 4 つの設定タブがある Edit Leaderboard パネルです。 Edit Leaderboard パネルでは、次の操作を行えます。

• 表示の有効化または無効化 チェックボックスをオンまたはオフにして、Leaderboard に表示するモデル、データセット、Scorer、メトリクスを選択します。
• モデル、データセット、Scorer のリネーム 表示用のわかりやすい名前を割り当てます (例: モデルの run を GPT-4 に、データセットを JokesV1 にリネームする)。 リネームした項目には、次の特長があります。
  • Leaderboard に即座に反映されます。
  • 引き続きクリックでき、サイドパネルで元の参照を開けます。
  • Leaderboard ビューを使用しているすべての場所に自動的に反映されます。

これにより、基盤となるオブジェクトを変更せずに、わかりやすく意味のある名前で実験を比較できます。

​

Leaderboard メトリクスの動作と色の設定

異なるメトリクスでは、「良い」パフォーマンスの解釈が異なります。Edit Leaderboard パネルでは、各メトリクスの方向を設定して、視覚的なハイライトが意図に一致するようにできます。 Edit Leaderboard パネルでは、各メトリクスに対して、次のいずれかの方向を指定できます。

• 値が大きいほど良い
• 値が小さいほど良い

この設定は Leaderboard の色付けに直接影響します。

• 緑はより良い値を強調表示します。
• 赤はより悪い値を強調表示します。
• 「値が大きいほど良い」と「値が小さいほど良い」の間で切り替えると、色が自動的に反転します。

これにより、さまざまなタイプのメトリクス (例えば、精度とレイテンシーやエラーレートの比較) において、視覚的な手がかりが正確に保たれます。

​

Leaderboard ビューを保存して再利用する

カスタマイズした Leaderboard に名前を付けてビューとして保存すると、後で自分やチームのメンバーが同じ設定を開けます。Edit Leaderboard パネルで Save をクリックすると、カスタマイズした Leaderboard を再利用可能なビューとして保存できます。 保存した Leaderboard ビューは、次の内容を取得します。

• 選択したモデル、データセット、Scorer、メトリクス。
• リネームした表示ラベル。
• メトリクスの評価方向の設定 (値が高いほどよいか、低いほどよいか) 。
• 適用したフィルター。

​

保存済みビューを切り替える

評価ページのタイトルの横にある メニュー () ボタンをクリックすると、保存済みビューが開きます。次の操作を行えます。

• デフォルト ビューに戻り、データセット全体を表示します。
• 保存済みビューを再度開き、すべてのカスタマイズを復元します。

保存済みビューを再度開いても、リネームやメトリクスの設定はすべて保持されます。