概要

​

Model Distillation が提供する機能

• アプリケーションを一度接続するだけ: 使い慣れたチャット補完インターフェースを維持し、アプリケーションによるリクエストの送信方法や応答の読み取り方法を変えずにモデルを切り替えられます。
• 実際の利用から学習: アプリケーションがすでに生成しているサンプルを自動的に収集し、お客様にとって重要な動作に基づいてモデルを改善できます。
• より良いトレーニングデータを構築: モデルに学習させたいサンプルを選んで確認し、質の低いサンプルを削除し、必要に応じて回答を改善します。
• タスクに合わせてモデルをトレーニング: コストとレイテンシーを抑えながら、はるかに大きなモデルの動作を再現できる特化モデルを作成します。
• デプロイメント前に品質を比較: 同じサンプルでモデルをテストし、各モデルの優れている点や失敗する点を確認して、根拠に基づいてデプロイメントを判断します。
• 安全にデプロイ: トラフィックの一部で新しいモデルをテストし、その割合を徐々に増やしながら、ロールバックに備えて以前のモデルを利用可能な状態に保ちます。

​

お客様の一般的な利用の流れ

1. AI 機能を 1 つ Model Distillation に接続します。
2. 通常のプロダクト使用からサンプルを収集します。
3. 学習に役立つサンプルと回答を選択します。
4. 候補となるモデルを複数トレーニングします。
5. 現在使用しているモデルと比較します。
6. 最も優れたモデルを段階的にデプロイし、結果を監視します。