トレースやその他のログされた情報を比較する

W&B Weave の比較機能を使用すると、コード、トレース、プロンプト、モデル、モデルの設定を視覚的に比較および差分表示できます。2 つのオブジェクトを並べて比較したり、より大きなオブジェクトのセットを分析して差分、パターン、傾向を特定したりできます。これは、プロンプトやモデルを反復処理する場合、run 間の動作変更をデバッグする場合、または設定が時間の経過とともにどのように進化したかを監査する場合に役立ちます。 このガイドは、UI でログされたオブジェクト間の差分を検査したい Weave ユーザーを対象としています。比較の開始方法と、ベースライン比較や数値の差分形式を含む Comparison ビューをカスタマイズするための利用可能な action について説明します。

​

Comparison ビューにアクセスする

ログされた 2 つ以上のオブジェクトの Comparison ビューを開くには、次の手順に従います。

1. サイドバーで、比較するオブジェクトのタイプ (たとえば、Traces または Models) を選択します。
2. 比較するオブジェクトを選択します。選択方法は、比較するオブジェクトのタイプによって異なります。
   • Traces の場合、Trace 列の該当する行のチェックボックスをオンにして、比較するトレースを選択します。
   • Models などのオブジェクトの場合、モデルの Versions ページにアクセスし、比較するバージョンの横にあるチェックボックスをオンにします。
3. Compare を選択して Comparison ビューを開きます。ページ上部の比較バーには、操作可能な Call ID トークン (たとえば、f02b、4a98) が表示されます。これらをドラッグ、並べ替え、または削除して、比較内容を変更できます。
4. 利用可能な action を使用して、ビューを調整できます。

​

Comparison ビューをカスタマイズする

Comparison ビューでは、オブジェクトの表示方法と比較方法を調整できます。以下のセクションでは、利用可能な action について説明します:

• サマリーを表示する
• Call ビューを表示する
• 差分の表示を変更する
• 並べて表示
• 統合ビューで表示する
• ベースラインを設定する
• ベースラインを解除する
• 比較の順序を変更する
• 数値の差分表示形式を変更する
• ベースラインまたは前回と比較する
• 複数オブジェクトの比較からペアを比較する
• 比較からオブジェクトを削除する

​

サマリーを表示する

選択したオブジェクトの比較は、デフォルトでサマリーとして表示されます。このサマリーには、LLM の入力と出力のプレビューに加え、トークン数、コスト、レイテンシーが含まれます。 トレースの場合、比較表の上部に表示される色付きのバーには、Op に適用したカスタムの種類と色が反映されます。この視認性の向上を活用する方法については、種類と色を適用するを参照してください。

​

Call ビューを表示

各オブジェクトの Call を比較するには、Calls を選択します。このビューでは:

• Call の完全なトレース ツリーを表示します。
• 基本的なインメモリテキスト検索を提供します。
• 各 Call のレイテンシー、コスト、トークン、Op の種類、フィードバックの表示を切り替えられます。

​

差分表示を変更する

デフォルトでは、差分のみはオフです。表の行をフィルターして変更された行のみを表示するには、差分のみをオンにします。 差分のみは左右比較ビューと統合ビューに適用され、その他のビューでは無効になっています。

​

並べて表示

各オブジェクトを別々の列に並べて比較するには、Side-by-side を選択します。

​

統合ビューで表示する

統合ビューで2つのオブジェクトを比較するには、Unified を選択します。このビューは、3つ以上のオブジェクトを比較する場合は利用できません。

​

ベースラインを設定する

デフォルトでは、Comparison ビューの各オブジェクトは、その左隣のオブジェクトと比較されます。ただし、オブジェクトを_ベースライン_として設定すると、すべてのオブジェクトがビューの左端のオブジェクトと比較されます。正常であることが確認済みの run など、単一の基準に対してすべてのオブジェクトを比較したい場合は、ベースラインを使用します。 オブジェクトをベースラインとして設定するには、次の手順に従います。

1. 比較バーで、ベースラインとして設定するオブジェクトにポインターを合わせます。
2. ID の右側にある action () メニューをクリックします。
3. 一覧から Make baseline を選択します。UI が更新され、ベースラインのオブジェクトが比較バーの左端に配置され、ID の横に Baseline が表示されます。

​

ベースラインを解除する

オブジェクトのベースライン指定を解除するには、次の手順に従います。

1. 比較バーで、ベースラインのオブジェクトにポインターを合わせます。
2. ID の右側にある action () メニューをクリックします。
3. リストで Remove baseline を選択します。Call ID の横に Baseline が表示されなくなります。

​

比較順序の変更

比較バー内のオブジェクトをドラッグして順序を変更します。これにより、比較表内の対応する列も順序が変更されます。 比較順序を変更するには:

1. 比較バーで、順序を変更したい ID の上にポインターを置きます。
2. ID の左側にある 6 つの dots をクリックして押したまま、必要に応じて左または右にドラッグします。
3. ID を希望の順序に配置します。比較データが更新された比較順序で更新されます。

​

数値の差分の表示形式を変更する

completion_tokens や total_tokens などの数値については、差分を整数またはパーセンテージのいずれかで表示できます。正の数値は乗数として表示することも可能です。 数値の差分の表示形式を変更するには:

1. 比較表で、表示形式を更新したい数値の差分を検索します。
2. 差分の値をクリックします。形式は自動的に整数またはパーセンテージに更新されます。

​

ベースラインまたは前のオブジェクトと比較する

このオプションは、3 つ以上のオブジェクトを比較する場合にのみ使用できます。ベースラインを設定することや、既存のベースラインを削除することもできます。 3 つ以上のオブジェクトでベースライン比較を行うには、次の手順を実行します。

1. Side-by-side または Unified の Comparison ビューの右上隅にあるリストをクリックします。現在のビューの設定に応じて、リストのタイトルは Compare with previous または Compare with baseline のいずれかになります。
2. 現在のビューの設定に応じて、Compare with previous または Compare with baseline のいずれかを選択します。
   • Compare with baseline: 一番左のオブジェクトをベースラインに設定します。表が更新され、一番左の列がベースラインになります。
   • Compare with previous: どのオブジェクトもベースラインに設定されません。

​

複数オブジェクトの比較からペアを比較する

このオプションは、3 つ以上のオブジェクトを比較する場合にのみ利用できます。 3 つ以上のオブジェクトを比較する場合、単一のオブジェクトを隣接するオブジェクトまたはベースラインと比較できます。これにより、比較表のビューが 2 オブジェクトの比較と同一になるように変更されます。 複数オブジェクトの比較からオブジェクトのペアを比較するには:

1. 比較バーで、比較する ID を選択します。ベースラインを設定している場合、選択したオブジェクトをベースラインと比較します。そうでない場合、比較バーでその左側にある ID とオブジェクトを比較します。
2. 項目を選択するには、ID をクリックします。UI が 2 方向の比較表で更新されます。

比較用に選択した最初の 6 つのオブジェクトが表に表示されるようにビューをリセットするには、ID を再度クリックします。

​

比較からオブジェクトを削除する

このオプションは、3つ以上のオブジェクトを比較する場合にのみ利用可能です。 比較からオブジェクトを削除するには:

1. 比較バーで、比較から削除したいオブジェクトを検索する。
2. IDの右側にある action () メニューをクリックします。
3. リストで Remove object from comparison を選択します。UI が更新され、削除されたオブジェクトが含まれない表が表示されます。

​

使用上のメモ

以下のメモは、比較機能の制限と動作を説明します。

• 比較機能は UI でのみ利用できます。
• 任意の数のオブジェクトを比較できますが、UI には最大 6 つまで表示されます。6 つを超えるオブジェクトを比較しているときに比較表に表示されないオブジェクトを表示するには、比較の順序を変更してそのオブジェクトが左から右へ最初の 6 つのいずれかになるようにするか、複数オブジェクトの比較からペアを選択して表示します。