Skip to main content
Weave の評価でモデルをスコアリングする場合、絶対値のメトリクス (たとえば、Model A は 9/10、Model B は 8/10) は、相対的なメトリクス (たとえば、Model A のほうが Model B よりも性能が高い) に比べて、一般に付けるのが難しくなります。ペアワイズ評価を使用すると、2 つのモデルの出力を相対的に順位付けして比較できます。この手法は、テキスト生成、要約、質問応答などの主観的なタスクで、どちらのモデルの性能が高いかを判断したい場合に役立ちます。ペアワイズ評価では、特定の入力に対してどのモデルが最適かを示す、相対的な選好順位が得られます。
この手法は暫定的な回避策であり、今後のリリースで変更される可能性があります。ペアワイズ評価をサポートする、より堅牢な API の提供が予定されています。
次のコードサンプルでは、PreferenceScorer というクラスベースの Scorer を作成し、Weave でペアワイズ評価を実装する方法を示します。PreferenceScorer は 2 つのモデル ModelA と ModelB を比較し、入力テキスト内の明示的なヒントに基づいて、モデル出力の相対的なスコアを返します。
この評価を実行すると、PreferenceScorer の結果に基づいて、ModelA と ModelB の相対的な優劣を示すランキングが得られます。
評価
Last modified on September 30, 2026