前提条件
始める前に、次の作業を完了してください。- Azure の公式ドキュメントに従って Azure OpenAI サービスを設定します。
- W&B アカウントを設定し、APIキーを用意します。
ワークフローの概要
以下では、一般的な Azure OpenAI のファインチューニングジョブが W&B 上でどのように進むかを、ジョブの準備から生成されたモデルの評価までの段階ごとにまとめます。ファインチューニングのセットアップ
ファインチューニングのセットアップは、次の手順で行います。- Azure OpenAI の要件に従ってトレーニングデータを準備します。
- Azure OpenAI でファインチューニングジョブを設定します。
- W&B でファインチューニングのプロセスをトラッキングし、メトリクスとハイパーパラメーターをログします。
実験管理
ファインチューニング中、W&B は次の情報を取得します。- トレーニングおよび検証のメトリクス
- モデルのハイパーパラメーター
- リソース使用量
- トレーニングのアーティファクト
モデル評価
ファインチューニング後は、W&B Weave を使用して次のことができます。- 参照データセットを基準にモデル出力を評価する。
- 異なるファインチューニング run 間でパフォーマンスを比較する。
- 特定のテストケースにおけるモデルの動作を分析する。
- データに基づいてモデル選択を行う。
実際の使用例
このインテグレーションをエンドツーエンドで適用した例については、次のリソースを参照してください。- 医療メモ生成デモでは、このインテグレーションによって次のことがどのように実現されるかを確認できます。
- ファインチューニング実験の体系的なトラッキング
- ドメイン固有のメトリクスを用いたモデル評価
- インタラクティブなファインチューニングノートブックで、実際に手を動かしながら試してみてください。