データセットの列をマッピングする

Python
TypeScript

Weave Python SDK では、Scorer の column_map 属性を使用して、Scorer が想定するパラメーター名をデータセットの列名にマッピングします。マッピングの形式は {scorer_parameter: dataset_column} です。次の例では、output パラメーターと target パラメーターを、データセットの model_output 列と answer 列にそれぞれマッピングします。

from weave.scorers import EmbeddingSimilarityScorer

similarity_scorer = EmbeddingSimilarityScorer()

similarity_scorer.column_map = {
    "output": "model_output",  # モデルが生成したテキスト
    "target": "answer"         # 期待される応答または参照応答
}

Scorer の列マッピングの詳細については、column_map による列名のマッピングを参照してください。

Weave TypeScript SDK では、列マッピングは個々の Scorer ではなく、Evaluation オブジェクトの columnMapping オプションで設定します。マッピングの形式は {scorer_key: dataset_column} です。次の例では、Scorer が使用する expectedOutputTimesTwo を、データセットの expected 列にマッピングします。

import * as weave from 'weave';

const myScorer = weave.op(
  ({modelOutput, datasetRow}) => {
    return modelOutput * 2 === datasetRow.expectedOutputTimesTwo;
  },
  {name: 'myScorer'}
);

const myEval = new weave.Evaluation({
  id: 'my-evaluation',
  dataset: [{expected: 2}],
  scorers: [myScorer],
  columnMapping: {expectedOutputTimesTwo: 'expected'},
});

TypeScript における Scorer の引数の詳細については、Scorer のキーワード引数を参照してください。