Mapper les colonnes dans les datasets

Python
TypeScript

Dans le SDK Python de Weave, utilisez l’attribut column_map d’un évaluateur pour mapper les noms de paramètres qu’il attend vers les noms de colonnes de votre dataset. Le mappage se présente au format {scorer_parameter: dataset_column}.L’exemple suivant mappe les paramètres output et target vers les colonnes model_output et answer d’un dataset :

from weave.scorers import EmbeddingSimilarityScorer

similarity_scorer = EmbeddingSimilarityScorer()

similarity_scorer.column_map = {
    "output": "model_output",  # Le texte généré par le modèle
    "target": "answer"         # La réponse attendue ou de référence
}

Pour plus d’informations sur le mappage des colonnes des évaluateurs, voir Mapper les noms de colonnes avec column_map.

Dans le SDK TypeScript de Weave, le mappage des colonnes se configure sur l’objet Evaluation à l’aide de l’option columnMapping, et non au niveau de chaque évaluateur. Le mappage se présente au format {scorer_key: dataset_column}.L’exemple suivant mappe expectedOutputTimesTwo (utilisé par l’évaluateur) vers la colonne expected du dataset :

import * as weave from 'weave';

const myScorer = weave.op(
  ({modelOutput, datasetRow}) => {
    return modelOutput * 2 === datasetRow.expectedOutputTimesTwo;
  },
  {name: 'myScorer'}
);

const myEval = new weave.Evaluation({
  id: 'my-evaluation',
  dataset: [{expected: 2}],
  scorers: [myScorer],
  columnMapping: {expectedOutputTimesTwo: 'expected'},
});

Pour plus d’informations sur les arguments des évaluateurs en TypeScript, voir Arguments nommés des évaluateurs.