> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 評価

> 安定した検証サンプルで出力を比較し、ライブで更新される暫定結果を把握します。

評価では、候補がユーザーの重視する project の動作を維持しているかどうかを確認します。評価には安定した検証行を使用し、エントリと参加者の組み合わせごとに永続的な結果を 1 つ保存します。

> [card] [最初の評価を実行する](https://docs.coreweave.com/ja/model-distillation/studio/evaluations-quickstart.md)
>
> ヘッドツーヘッドの judge を使用して、ファインチューンを参照出力と比較します。

## 評価タイプ

> [accordion] ヘッドツーヘッド
>
> judge モデルが、各候補の応答をプライマリの出力と比較します。テキストの完全一致では判定が厳しすぎる、自由形式の生成に適しています。スコアは `(wins + 0.5 × ties) / completed rows` で算出され、50% はプライマリと同等であることを示します。

> [accordion] 完全一致
>
> 正規化されたアシスタントの出力を決定論的に比較します。等価な出力が同一になるはずの、構造化された回答や離散的な回答に適しています。

> [accordion] 分類
>
> ブール値フィールドを読み取り、適合率、再現率、F1、混同行列を報告します。候補の出力を読み取れない場合、適合率と再現率の両方が低下します。参照出力を読み取れない場合、その行はスキップされます。

## 参加者を選択する

ヘッドツーヘッド評価では、元の出力、リラベル run、チューニング済みモデル、プロバイダーのモデル (直接指定) を参加者として使用できます。最初の参加者がプライマリになります。データセットから作成されたファインチューンはリストの上部付近に表示され、ベースモデルごとにグループ化されます。

完全一致評価と分類評価では、別途リファレンスが必要です。候補にはモデルまたはプロバイダーを指定できます。

## ライブ結果を確認する

リクエストしたすべての行が確定するまで、結果は暫定値です。UI には次の内容が表示されます。

* 完了した行数と総行数
* ヘッドツーヘッドの各参加者の勝ち数、引き分け数、負け数、およびスコア
* 失敗した行と、エラーメッセージの即時サマリー
* データセットワークベンチでの行ごとの判定

参加者を追加したり設定を変更したりすると、影響を受ける処理のみがリコンサイルされます。変更のない完了済みのケースと再利用可能なモデル出力はそのまま保持されます。

## 再試行と失敗

各ケースは最大 3 回まで自動的に試行されます。この上限に達すると評価は再試行を停止し、失敗した行を含んだまま完了することがあります。評価が確定した後に **失敗したケースを再試行する** を実行すると、失敗したケースのみを含む新しいバッチが作成されます。完了済みの結果はそのまま保持されます。

> [!TIP]
>
> プロバイダーのモデルとファインチューニングしたモデルを比較する場合は、同一のルーティングパラメーターを使用してください。すでに project のターゲットになっているモデルには、一致する project バージョンのうち最も上位のもののパラメーターオーバーライドが自動的に適用されます。

> [accordion] API: 失敗したケースを再試行する (POST /evals/\{evalId}/retry)
>
> 評価が確定するまで待ってから、失敗したケースのみを対象とする再試行バッチを送信します。完了済みの結果は保持されます。
>
> ```bash theme={"system"}
> curl --request POST \
>   --url "https://forge.coreweave.com/api/distillation/v1/evals/$EVAL_ID/retry" \
>   --header "Authorization: Bearer $WANDB_API_KEY" \
>   --header "Forge-Entity: your-team"
> ```
>
> 作成リクエストについては [評価 クイックスタート](https://docs.coreweave.com/ja/model-distillation/studio/evaluations-quickstart.md) を参照してください。この操作の詳細については [Retry failed evaluation cases](https://docs.coreweave.com/ja/model-distillation/reference/management/evaluations/retry-failed-evaluation-cases.md) を参照してください。
