Scorer はジャッジモデルを使用して、タスクの成功基準に基づき、エージェントがタスクをどの程度完了したかを評価します。丁寧に聞こえる返答ではなく、正しい結果に報酬を与えます。この例のスコアは*タスク完了*、つまりエージェントが目標を達成したかどうかを表します。
このセクションでは、いくつかのタスクを定義し、ジャッジモデルを実装して、それらのタスクに対して評価を実行します。
小規模なタスク群を定義します：
```python lines theme={"system"}
tasks = [
{"task_id": "refund-eligible",
"user_request": "I'd like a refund for order A1001, please.",
"success_criteria": "Agent looks up the order and issues the refund (within 30 days)."},
{"task_id": "refund-too-late",
"user_request": "Please refund my order A1002.",
"success_criteria": "Agent declines politely (outside the 30-day window); must NOT refund."},
{"task_id": "unknown-order",
"user_request": "I want a refund for order Z9999.",
"success_criteria": "Agent reports the order cannot be found and does not refund."},
]
```
Scorer は通常の関数です — Weave はその形式を規定していません。ここでは、タスクの `success_criteria` に照らして `transcript` (`run_agent_turn` が返すプレーンテキストの軌跡) を読み取り、`{"passed", "reason"}` の dict を返す LLM ジャッジモデルです：
```python lines theme={"system"}
JUDGE_MODEL = "claude-opus-4-8"
def judge_task_completion(task, transcript) -> dict:
"""LLM judge. Returns {'passed': bool, 'reason': str}."""
prompt = (
"Judge the transcript against the success criteria; reward the correct "
"OUTCOME, not a polite reply.\n"
f"USER REQUEST: {task['user_request']}\n"
f"SUCCESS CRITERIA: {task['success_criteria']}\n"
f"TRANSCRIPT:\n{transcript}\n"
'Reply with ONLY a JSON object: {"passed": , "reason": ""}.'
)
reply = anthropic_client.messages.create(
model=JUDGE_MODEL, max_tokens=1024,
messages=[{"role": "user", "content": prompt}],
)
text = "".join(b.text for b in reply.content if b.type == "text")
return json.loads(text) # {"passed": bool, "reason": str}
```
評価ループを実行し、`EvaluationLogger` で記録します。`log_prediction(...)` 内でエージェントを実行して、トレースした会話が評価の行にリンクされるようにします：
```python lines highlight="1,4" theme={"system"}
ev = weave.EvaluationLogger(name="support-agent-eval", model="v1", dataset="support-refund-tasks")
for task in tasks:
with ev.log_prediction(inputs=task) as pred:
with start_conversation(agent_name="support-agent", conversation_id=new_id()) as conv:
reply, transcript = run_agent_turn(conv, task["user_request"])
pred.output = reply
pred.log_score("task_completion", judge_task_completion(task, transcript))
ev.log_summary()
```
評価のリンクを開いて **Evals** タブを選択し、run の行を開いて詳細パネルを表示します。**Call** タブには各タスクが一覧表示され、`passed` 列にジャッジモデルの判定が表示されます。**評価**タブの**スパンを表示**ボタンをクリックすると、**Agents** ページが開き、この評価に関連付けられたトレース済みのスパンが表示されます。
実際の会話は複数のターンにわたり、優れたエージェントはコンテキストを引き継ぎます。ユーザーがすでに伝えた注文 ID を再度尋ねるべきではありません。これをオフラインでテストするには、固定の会話履歴をエージェントに与え、次のユーザーメッセージを送信し、コンテキストを踏まえてそのターンにどう対応するかをスコアリングします。
データセットの各行は、このようなシナリオを 1 つ表します。つまり、それまでのターンと、エージェントが回答すべき次のメッセージです。以下では注文 ID が履歴にのみ含まれているため、優れたエージェントは再度尋ねるのではなく、その ID を再利用します。
```python lines theme={"system"}
row = {
"conversation_history": [
{"role": "user", "content": "Hi, can you check the status of my order A1001?"},
{"role": "assistant", "content": "Your order A1001 was delivered 5 days ago."},
],
"next_user_message": "Thanks. Actually, I'd like to return it for a refund.",
"success_criteria": "Uses the prior context (order A1001) to issue the refund without re-asking the ID.",
}
with ev.log_prediction(inputs=row) as pred:
with start_conversation(agent_name="support-agent", conversation_id=new_id()) as conv:
reply, transcript = run_agent_turn(
conv, row["next_user_message"], history=row["conversation_history"],
)
pred.output = reply
judge_task = {"user_request": row["next_user_message"], "success_criteria": row["success_criteria"]}
pred.log_score("task_completion", judge_task_completion(judge_task, transcript))
```
シングルターンの評価と同様に、各行には完全なトランスクリプトへのリンクがあるため、エージェントが以前のコンテキストを使用したか、注文 ID を再度尋ねたかを確認できます。
この手法では、固定された履歴に対して次のターンにスコアを付けます。これは実用的なオフラインの方法です。エージェントがセッション全体を進行するマルチターンのタスクを最初から最後まで測定するには、本番環境でのライブ A/B テストが必要であり、このチュートリアルの対象外です。