- 既存の機能に接続する
アプリケーションは、使い慣れたチャット補完インターフェースを通じて Model Distillation を呼び出します。この機能に固定のプロキシモデル名を付けると、背後のモデルが改良されても、その名前は変わりません。
- 実際のサンプルから学習する
Model Distillation は、アプリケーションがすでに生成している入力と、成功した回答を収集します。新しいモデルに学習させたい動作を表すサンプルは、ユーザー自身が選択します。
既存の回答が理想的でない場合は、トレーニング前に、より高性能なモデルを使用してトレーニング用の回答を改善できます。
- 候補をトレーニングして比較する
1 つのモデル、または異なるモデルの sweep をトレーニングします。すべての候補を同じサンプルでテストするため、現在使用しているモデルの品質が維持されているかを確認できます。
- リスクの高い切り替えなしでデプロイする
勝者モデルに最初は少量のトラフィックを送信するか、評価後に完全にデプロイします。以前のモデルは、迅速なロールバックのために利用可能な状態にしておくことができます。
自分で制御できること
- どのプロダクトの動作を project にするか。
- モデルがどのサンプルと回答から学習するか。
- どのモデルをトレーニングして比較するか。
- デプロイする前に候補が満たすべき品質基準。
- 最も優れたモデルに割り当てるトラフィックの量。
ワークフロー全体を実行する
project を接続し、実際の使用データからデプロイ済みモデルまで進めます。
API: ワークフローのエンドポイント
API: ワークフローのエンドポイント
エージェントは、以下の公開リソースを使用して同じ一連の処理を実行できます。
PUT /tasks/{alias}とPOST /chat/completionsでトラフィックを接続します。POST /tasks/{alias}/datasetsでトレーニングデータと検証データを固定します。- 各候補に対して
POST /tasks/{alias}/finetunesを実行します。 POST /evalsで候補を比較します。PUT /tasks/{alias}/versions/{version}/routingで最も優れた候補をデプロイします。