評価を構築する - CoreWeave Docs

このチュートリアルでは、LLM アプリケーションの改善を繰り返しながら品質を測定し、トラッキングできるよう、Weave でエンドツーエンドの評価パイプラインを構築する手順を説明します。評価では、一貫したサンプルセットを使って変更を比較し、ユーザーに影響が及ぶ前に品質の低下を検出できます。このチュートリアルは、LLM を活用したアプリケーションを構築し、再現可能な方法でテストしたい開発者を対象としています。 Weave は、Model クラスと Evaluation クラスによる評価のトラッキングを標準でサポートしています。これらの API は前提条件を最小限に抑えているため、幅広いユースケースに対応できます。評価のメイン画像

このガイドで学ぶこと

このガイドでは、以下の方法を説明します。

Model を設定します。
LLM の応答をテストするためのデータセットを作成します。
モデル出力を期待される出力と比較するスコアリング関数を定義します。
スコアリング関数と追加の組み込みScorerを使用して、データセットに対してモデルをテストする評価を実行します。
Weights & Biases UI で評価結果を確認します。

このガイドを終えると、サンプルモデルをデータセットに対してスコア付けし、結果を Weave にログする評価パイプラインが動作するようになります。

前提条件

CoreWeave Forge アカウント
Python 3.10 以降または Node.js 18 以降
必須パッケージがインストールされていること:
- Python: pip install weave openai
- TypeScript: npm install weave openai
OpenAI APIキーが環境変数として設定されていること。

必要なライブラリと関数をインポートする

次のライブラリをスクリプトにインポートします。

Python
TypeScript

import json
import openai
import asyncio
import weave
from weave.scorers import MultiTaskBinaryClassificationF1

import * as weave from 'weave';
import OpenAI from 'openai';

`Model` を構築する

ライブラリの準備ができたら、次のステップは評価するモデルを定義することです。 Weave では、Models はオブジェクトです。モデルやエージェントの動作 (ロジック、プロンプト、パラメーター) と、バージョン管理されたメタデータ (パラメーター、コード、詳細設定) の両方を取得するため、トラッキング、比較、評価、反復的な改善を確実に行えます。 Model をインスタンス化すると、Weave はその設定と動作を自動的に取得し、変更が発生するとバージョンを更新します。これにより、反復的に改善しながら、パフォーマンスの推移をトラッキングできます。 Model を宣言するには、Model をサブクラス化し、1 つの例を受け取って応答を返す predict 関数を実装します。次のモデルの例では、OpenAI を使用して、入力文から異星の果物の名、色、味を抽出します。

Python
TypeScript

class ExtractFruitsModel(weave.Model):
    model_name: str
    prompt_template: str

    @weave.op()
    async def predict(self, sentence: str) -> dict:
        client = openai.AsyncClient()

        response = await client.chat.completions.create(
            model=self.model_name,
            messages=[
                {"role": "user", "content": self.prompt_template.format(sentence=sentence)}
            ],
        )
        result = response.choices[0].message.content
        if result is None:
            raise ValueError("No response from model")
        parsed = json.loads(result)
        return parsed

// 注: weave.Model はまだ TypeScript ではサポートされていません。
// 代わりに、モデルに相当する関数を weave.op でラップしてください。

import * as weave from 'weave';
import OpenAI from 'openai';

const openaiClient = new OpenAI();

const model = weave.op(async function myModel({datasetRow}) {
  const prompt = `Extract fields ("fruit": <str>, "color": <str>, "flavor") from the following text, as json: ${datasetRow.sentence}`;
  const response = await openaiClient.chat.completions.create({
    model: 'gpt-3.5-turbo',
    messages: [{ role: 'user', content: prompt }],
    response_format: { type: 'json_object' }
  });
  return JSON.parse(response.choices[0].message.content);
});

ExtractFruitsModel クラスは weave.Model を継承 (サブクラス化) するため、Weave はインスタンス化されたオブジェクトをトラッキングできます。@weave.op は predict 関数をデコレートし、その入力と出力をトラッキングします。 Model オブジェクトは次のようにインスタンス化できます。

Python
TypeScript

# チームとプロジェクト名を設定します
weave.init('[YOUR-TEAM]/eval_pipeline_quickstart')

model = ExtractFruitsModel(
    model_name='gpt-3.5-turbo-1106',
    prompt_template='Extract fields ("fruit": <str>, "color": <str>, "flavor": <str>) from the following text, as json: {sentence}'
)

sentence = "There are many fruits that were found on the recently discovered planet Goocrux. There are neoskizzles that grow there, which are purple and taste like candy."

print(asyncio.run(model.predict(sentence)))
# Jupyter ノートブックでは、次を実行します:
# await model.predict(sentence)

await weave.init('eval_pipeline_quickstart');

const sentence = "There are many fruits that were found on the recently discovered planet Goocrux. There are neoskizzles that grow there, which are purple and taste like candy.";

const result = await model({ datasetRow: { sentence } });

console.log(result);

データセットを作成する

Model を定義したら、次はモデルを評価するためのデータセットが必要です。Dataset は、Weave オブジェクトとして保存されるサンプルのコレクションです。データセットを Weave にパブリッシュすると、バージョンが付与され、複数の評価 run で再利用できるようになります。次のサンプルデータセットでは、3 つの入力文とそれぞれの正解 (labels) を定義し、スコアリング関数が読み取れる JSON 形式の表に整えます。この例ではコード内でサンプルのリストを作成しますが、実行中のアプリケーションから 1 件ずつログすることもできます。

Python
TypeScript

sentences = ["There are many fruits that were found on the recently discovered planet Goocrux. There are neoskizzles that grow there, which are purple and taste like candy.",
"Pounits are a bright green color and are more savory than sweet.",
"Finally, there are fruits called glowls, which have a very sour and bitter taste which is acidic and caustic, and a pale orange tinge to them."]
labels = [
    {'fruit': 'neoskizzles', 'color': 'purple', 'flavor': 'candy'},
    {'fruit': 'pounits', 'color': 'bright green', 'flavor': 'savory'},
    {'fruit': 'glowls', 'color': 'pale orange', 'flavor': 'sour and bitter'}
]
examples = [
    {'id': '0', 'sentence': sentences[0], 'target': labels[0]},
    {'id': '1', 'sentence': sentences[1], 'target': labels[1]},
    {'id': '2', 'sentence': sentences[2], 'target': labels[2]}
]

const sentences = [
  "There are many fruits that were found on the recently discovered planet Goocrux. There are neoskizzles that grow there, which are purple and taste like candy.",
  "Pounits are a bright green color and are more savory than sweet.",
  "Finally, there are fruits called glowls, which have a very sour and bitter taste which is acidic and caustic, and a pale orange tinge to them."
];
const labels = [
  { fruit: 'neoskizzles', color: 'purple', flavor: 'candy' },
  { fruit: 'pounits', color: 'bright green', flavor: 'savory' },
  { fruit: 'glowls', color: 'pale orange', flavor: 'sour and bitter' }
];
const examples = sentences.map((sentence, i) => ({
  id: i.toString(),
  sentence,
  target: labels[i]
}));

次に、weave.Dataset() クラスを使用してデータセットを作成し、パブリッシュします。

Python
TypeScript

weave.init('eval_pipeline_quickstart')
dataset = weave.Dataset(name='fruits', rows=examples)
weave.publish(dataset)

import * as weave from 'weave';
await weave.init('eval_pipeline_quickstart');
const dataset = new weave.Dataset({
  name: 'fruits',
  rows: examples
});
await dataset.save();

カスタムスコアリング関数を定義する

モデルとデータセットが用意できたら、各例に対するモデルの性能を測定する方法が必要です。スコアリング関数は、モデルの出力と期待されるターゲットを比較し、評価で報告されるメトリクスを生成します。 Weave の評価を使用する場合、Weave は output の比較対象として target を必要とします。次のスコアリング関数は、2 つの辞書 (target と output) を受け取り、出力がターゲットと一致するかどうかを示す真偽値の辞書を返します。@weave.op() デコレーターにより、Weave はスコアリング関数の実行をトラッキングできます。

Python
TypeScript

@weave.op()
def fruit_name_score(target: dict, output: dict) -> dict:
    return {'correct': target['fruit'] == output['fruit']}

import * as weave from 'weave';

const fruitNameScorer = weave.op(
  function fruitNameScore({target, output}) {
    return { correct: target.fruit === output.fruit };
  }
);

独自のスコアリング関数の作成について詳しくは、Scorer ガイドを参照してください。アプリケーションによっては、カスタムの Scorer クラスを作成したい場合があります。たとえば、特定のパラメーター (チャットモデルやプロンプトなど) 、特定の行のスコアリング、集計スコアの計算を備えた標準化された LLMJudge クラスを作成できます。詳しくは、RAG アプリケーションのモデルベース評価にある Scorer クラスの定義に関するチュートリアルを参照してください。

組み込みScorerを使用して評価を実行する

モデル、データセット、カスタムScorerが揃ったので、すべてを組み合わせて評価 run を実行する準備ができました。カスタムのスコアリング関数に加えて、Weave の組み込みScorerも使用できます。以下の評価では、weave.Evaluation() が前のセクションで定義した fruit_name_score 関数と、F1 スコアを計算する組み込みの MultiTaskBinaryClassificationF1 Scorerを使用します。以下の例では、2 つのスコアリング関数を使用して fruits データセットで ExtractFruitsModel を評価し、結果を Weave にログします。

Python
TypeScript

weave.init('eval_pipeline_quickstart')

evaluation = weave.Evaluation(
    name='fruit_eval',
    dataset=dataset, 
    scorers=[
        MultiTaskBinaryClassificationF1(class_names=["fruit", "color", "flavor"]), 
        fruit_name_score
    ],
)
print(asyncio.run(evaluation.evaluate(model)))
# Jupyter ノートブックでは、次を実行します:
# await evaluation.evaluate(model)

import * as weave from 'weave';

await weave.init('eval_pipeline_quickstart');

const evaluation = new weave.Evaluation({
  name: 'fruit_eval',
  dataset: dataset,
  scorers: [fruitNameScorer],
});
const results = await evaluation.evaluate(model);
console.log(results);

Python スクリプトから実行する場合は、asyncio.run を使用する必要があります。ただし、Jupyter ノートブックから実行する場合は、await を直接使用できます。

完全な設定例

1 つのスクリプトで完結する評価パイプライン:

Python
TypeScript

import json
import asyncio
import openai
import weave
from weave.scorers import MultiTaskBinaryClassificationF1

# Weave を一度だけ初期化します
weave.init('eval_pipeline_quickstart')

# 1. モデルを定義します
class ExtractFruitsModel(weave.Model):
    model_name: str
    prompt_template: str

    @weave.op()
    async def predict(self, sentence: str) -> dict:
        client = openai.AsyncClient()
        response = await client.chat.completions.create(
            model=self.model_name,
            messages=[{"role": "user", "content": self.prompt_template.format(sentence=sentence)}],
        )
        result = response.choices[0].message.content
        if result is None:
            raise ValueError("No response from model")
        return json.loads(result)

# 2. モデルのインスタンスを作成します
model = ExtractFruitsModel(
    model_name='gpt-3.5-turbo-1106',
    prompt_template='Extract fields ("fruit": <str>, "color": <str>, "flavor": <str>) from the following text, as json: {sentence}'
)

# 3. データセットを作成します
sentences = ["There are many fruits that were found on the recently discovered planet Goocrux. There are neoskizzles that grow there, which are purple and taste like candy.",
"Pounits are a bright green color and are more savory than sweet.",
"Finally, there are fruits called glowls, which have a very sour and bitter taste which is acidic and caustic, and a pale orange tinge to them."]
labels = [
    {'fruit': 'neoskizzles', 'color': 'purple', 'flavor': 'candy'},
    {'fruit': 'pounits', 'color': 'bright green', 'flavor': 'savory'},
    {'fruit': 'glowls', 'color': 'pale orange', 'flavor': 'sour and bitter'}
]
examples = [
    {'id': '0', 'sentence': sentences[0], 'target': labels[0]},
    {'id': '1', 'sentence': sentences[1], 'target': labels[1]},
    {'id': '2', 'sentence': sentences[2], 'target': labels[2]}
]

dataset = weave.Dataset(name='fruits', rows=examples)
weave.publish(dataset)

# 4. スコアリング関数を定義します
@weave.op()
def fruit_name_score(target: dict, output: dict) -> dict:
    return {'correct': target['fruit'] == output['fruit']}

# 5. 評価を実行します
evaluation = weave.Evaluation(
    name='fruit_eval',
    dataset=dataset,
    scorers=[
        MultiTaskBinaryClassificationF1(class_names=["fruit", "color", "flavor"]),
        fruit_name_score
    ],
)
print(asyncio.run(evaluation.evaluate(model)))

import * as weave from 'weave';
import OpenAI from 'openai';

// Weave を一度だけ初期化します
await weave.init('eval_pipeline_quickstart');

// 1. モデルを定義します
// 注意: weave.Model は TypeScript ではまだサポートされていません。
// 代わりに、モデルとして機能する関数を weave.op でラップします
const openaiClient = new OpenAI();

const model = weave.op(async function myModel({datasetRow}) {
  const prompt = `Extract fields ("fruit": <str>, "color": <str>, "flavor": <str>) from the following text, as json: ${datasetRow.sentence}`;
  const response = await openaiClient.chat.completions.create({
    model: 'gpt-3.5-turbo',
    messages: [{ role: 'user', content: prompt }],
    response_format: { type: 'json_object' }
  });
  return JSON.parse(response.choices[0].message.content);
});

// 2. データセットを作成します
const sentences = [
  "There are many fruits that were found on the recently discovered planet Goocrux. There are neoskizzles that grow there, which are purple and taste like candy.",
  "Pounits are a bright green color and are more savory than sweet.",
  "Finally, there are fruits called glowls, which have a very sour and bitter taste which is acidic and caustic, and a pale orange tinge to them."
];
const labels = [
  { fruit: 'neoskizzles', color: 'purple', flavor: 'candy' },
  { fruit: 'pounits', color: 'bright green', flavor: 'savory' },
  { fruit: 'glowls', color: 'pale orange', flavor: 'sour and bitter' }
];
const examples = sentences.map((sentence, i) => ({
  id: i.toString(),
  sentence,
  target: labels[i]
}));

const dataset = new weave.Dataset({
  name: 'fruits',
  rows: examples
});
await dataset.save();

// 3. スコアリング関数を定義します
const fruitNameScorer = weave.op(
  function fruitNameScore({target, output}) {
    return { correct: target.fruit === output.fruit };
  }
);

// 4. 評価を実行します
const evaluation = new weave.Evaluation({
  name: 'fruit_eval',
  dataset: dataset,
  scorers: [fruitNameScorer],
});
const results = await evaluation.evaluate(model);
console.log(results);

評価結果を表示する

評価が完了すると、Weights & Biases UI で各予測と Scorer の結果を検査できます。Weave は各予測とスコアのトレースを自動的に取得します。結果を表示するには、評価が出力するリンクをクリックしてください。評価結果

Weave の評価についてさらに学ぶ

これで評価パイプラインが完成しました。Weave の評価機能をさらに詳しく知るには、次のリソースを参照してください。

Scorerの構築と使用について詳しく学びます。
Weave の組み込みスコアリング関数を確認します。
LLM を評価者として使用するためのモデルベースの評価について学びます。

次のステップ

RAG アプリケーションを構築して、検索拡張生成の評価について学びます。

​このガイドで学ぶこと

​前提条件

​必要なライブラリと関数をインポートする

​Model を構築する

​データセットを作成する

​カスタムスコアリング関数を定義する

​組み込みScorerを使用して評価を実行する

​完全な設定例

​評価結果を表示する

​Weave の評価についてさらに学ぶ

​次のステップ

このガイドで学ぶこと

前提条件

必要なライブラリと関数をインポートする

`Model` を構築する

データセットを作成する

カスタムスコアリング関数を定義する

組み込みScorerを使用して評価を実行する

完全な設定例

評価結果を表示する

Weave の評価についてさらに学ぶ

次のステップ