OpenAI ファインチューニング

このページでは、OpenAI GPT-3.5 または GPT-4 モデルのファインチューニングのメトリクスと設定を W&B にログする方法を説明します。W&B を OpenAI のファインチューニング API と統合すると、ファインチューニングの実験、モデル、データセットを一か所でトラッキングし、結果を同僚と共有できます。OpenAI モデルをファインチューンする際に、実験管理を一元化し、トレーニングデータと生成されたモデルをバージョン管理したい場合は、このインテグレーションを使用してください。

ファインチューンできるモデルの一覧については、OpenAI ドキュメントを参照してください。

ファインチューニング向けに W&B を OpenAI と統合する方法の補足情報については、OpenAI ドキュメントの W&B Integration セクションを参照してください。

OpenAI Python API のインストールまたは更新

ファインチューニングの結果を同期する前に、互換性のあるバージョンの OpenAI Python クライアントがインストールされていることを確認してください。W&B の OpenAI ファインチューニングインテグレーションは、OpenAI バージョン 1.0 以降に対応しています。OpenAI Python API ライブラリの最新バージョンについては、PyPI のドキュメントを参照してください。 OpenAI Python API をインストールするには、次のコマンドを実行します。

pip install openai

OpenAI Python API がすでにインストールされている場合は、次のコマンドで更新します。

pip install -U openai

OpenAI のファインチューニング結果を同期する

このセクションでは、OpenAI のファインチューニングジョブのメトリクスと設定を W&B に送信し、他の実験と並べて確認できるようにする方法を説明します。そのためには、wandb.integration.openai.fine_tuning モジュールの WandbLogger クラスを使用します。

from wandb.integration.openai.fine_tuning import WandbLogger

# ファインチューニングの処理

WandbLogger.sync(fine_tune_job_id=FINETUNE_JOB_ID)

ファインチューンを同期する

スクリプトから結果を同期します。次の例では、1 行だけの最小限の呼び出しと、同期の動作を制御するために指定できるすべてのオプションのパラメーターの両方を示します。

from wandb.integration.openai.fine_tuning import WandbLogger

# 1 行で実行する場合
WandbLogger.sync()

# オプションのパラメーターを指定する場合
WandbLogger.sync(
    fine_tune_job_id=None,
    num_fine_tunes=None,
    project="OpenAI-Fine-Tune",
    entity=None,
    overwrite=False,
    model_artifact_name="model-metadata",
    model_artifact_type="model",
    **kwargs_wandb_init
)

リファレンス

次の表は、WandbLogger.sync が受け付ける各引数の説明です。

引数	説明
`fine_tune_job_id`	`client.fine_tuning.jobs.create` でファインチューンジョブを作成したときに取得する OpenAI のファインチューニング ID です。この引数が `None` (デフォルト) の場合、W&B はまだ同期されていないすべての OpenAI ファインチューンジョブを同期します。
`openai_client`	初期化済みの OpenAI クライアントを `sync` に渡します。クライアントを指定しない場合は、ロガーがクライアントを初期化します。デフォルトは `None` です。
`num_fine_tunes`	ID を指定しない場合、W&B は未同期のすべてのファインチューンをログします。この引数では、同期する最新のファインチューンの件数を指定できます。`num_fine_tunes` が 5 の場合、W&B は最新の 5 件のファインチューンを選択します。
`project`	W&B がファインチューンのメトリクス、モデル、データなどをログするプロジェクト名です。デフォルトのプロジェクト名は `"OpenAI-Fine-Tune"` です。
`entity`	run の送信先となる W&B のユーザー名またはチーム名です。デフォルトでは、W&B はデフォルトの entity (通常はユーザー名) を使用します。
`overwrite`	強制的にログを実行し、同じファインチューンジョブの既存の `wandb` run を上書きします。デフォルトは `False` です。
`wait_for_job_success`	OpenAI のファインチューニングジョブは、開始から完了までに時間がかかります。ファインチューンジョブの完了後すぐに W&B がメトリクスをログできるよう、この設定では 60 秒ごとにファインチューンジョブのステータスが `succeeded` に変わったかどうかを確認します。ファインチューンジョブが成功すると、W&B はメトリクスを自動的に同期します。デフォルトは `True` です。
`model_artifact_name`	ログされるモデルアーティファクトの名前です。デフォルトは `"model-metadata"` です。
`model_artifact_type`	ログされるモデルアーティファクトのタイプです。デフォルトは `"model"` です。
`**kwargs_wandb_init`	`wandb.init()` に直接渡される追加の引数です。

データセットのバージョン管理と可視化

ファインチューニングジョブを同期すると、W&B はトレーニングデータと検証データも取得します。これにより、データのバージョン管理やインタラクティブな探索が可能になります。以下のサブセクションでは、W&B がトラッキングする内容と、その確認方法について説明します。

バージョン管理

ファインチューニングのために OpenAI にアップロードしたトレーニングデータと検証データは、W&B Artifacts として自動的にログされるため、バージョン管理が容易になります。次の画像は、Artifacts でトレーニングファイルを表示した例です。このファイルをログした W&B run、ログされた日時、データセットのバージョン、メタデータ、そしてトレーニングデータからトレーニング済みモデルに至る DAG リネージを確認できます。

可視化

W&B はデータセットを W&B 表として可視化するため、データセットの探索や検索、インタラクティブな操作が可能です。次の画像は、W&B 表で可視化したトレーニングサンプルの例です。

ファインチューニングしたモデルとモデルのバージョン管理

OpenAI はファインチューニングしたモデルの基盤となる重みを公開していないため、W&B は代わりにモデルのメタデータを取得してトラッキングします。OpenAI からは、ファインチューニングしたモデルの ID が提供されます。モデルの重みにはアクセスできないため、WandbLogger はモデルの詳細情報 (ハイパーパラメーター、データファイル ID など) を fine_tuned_model ID とあわせて model_metadata.json ファイルにまとめ、W&B Artifactsとしてログします。このモデル (メタデータ) アーティファクトは、Registry 内のモデルにリンクできます。

よくある質問

以下のセクションでは、OpenAI から同期したファインチューニングの run の共有、整理、復元に関するよくある質問にお答えします。次のコードで、ファインチューンジョブをチームアカウントにログします。

WandbLogger.sync(entity="<your-team-name>")

run を整理する

W&B は run を自動的に整理します。ジョブタイプ、ベースモデル、学習率、トレーニングファイル名、その他のハイパーパラメーターなど、任意の設定パラメーターに基づいて run をフィルターしたり並べ替えたりできます。また、run をリネームしたり、メモを追加したり、タグを作成して run をグループ化したりすることもできます。満足のいく状態になったら、Workspace を保存し、それを使って report を作成しましょう。その際、run や保存済みのアーティファクト (トレーニングファイルと検証ファイル) からデータをインポートできます。

ファインチューニングしたモデルにアクセスする

W&B は、ファインチューニングしたモデルのモデル ID を、アーティファクト (model_metadata.json) と設定の両方にログします。

import wandb
    
with wandb.init(project="OpenAI-Fine-Tune", entity="<your-team-name>") as run:
    ft_artifact = run.use_artifact("<entity>/<project>/model_metadata:<version>")
    artifact_dir = ft_artifact.download()

<version> プレースホルダーには、次のいずれかを指定します。

v2 などのバージョン番号
ft-xxxxxxxxx などのファインチューニング ID
latest などの自動的に追加されるエイリアス、または手動で追加したエイリアス

その後、ダウンロードした model_metadata.json ファイルを読み込むと、fine_tuned_model ID を取得できます。

同期されなかったファインチューンを復旧する

ファインチューンが W&B に正常にログされなかった場合は、overwrite=True を使用して、ファインチューンジョブ ID を渡します。

WandbLogger.sync(
    fine_tune_job_id="<fine-tune-job-id>",
    overwrite=True,
)

W&B でデータセットとモデルをトラッキングする

W&B は、トレーニングデータと検証データをアーティファクトとして自動的にログします。ファインチューニングしたモデルの ID などのメタデータも、アーティファクトとしてログします。 wandb.Artifact や wandb.Run.log などの低レベルの wandb API を使用して、パイプラインを制御することもできます。これにより、データとモデルの完全なトレーサビリティを確保できます。

リソース

より詳しい背景情報やエンドツーエンドのサンプルについては、以下のリソースを参照してください。

OpenAI ファインチューニング Documentation: 詳細なガイダンスとヒントを確認できます。
デモ Colab
How to Fine-Tune Your OpenAI GPT-3.5 and GPT-4 Models with W&B report

​OpenAI Python API のインストールまたは更新

​OpenAI のファインチューニング結果を同期する

​ファインチューンを同期する

​リファレンス

​データセットのバージョン管理と可視化

​バージョン管理

​可視化

​ファインチューニングしたモデルとモデルのバージョン管理

​よくある質問

​ファインチューンの結果をチームと共有する

​run を整理する

​ファインチューニングしたモデルにアクセスする

​同期されなかったファインチューンを復旧する

​W&B でデータセットとモデルをトラッキングする

​リソース

OpenAI Python API のインストールまたは更新

OpenAI のファインチューニング結果を同期する

ファインチューンを同期する

リファレンス

データセットのバージョン管理と可視化

バージョン管理

可視化

ファインチューニングしたモデルとモデルのバージョン管理

よくある質問

ファインチューンの結果をチームと共有する

run を整理する

ファインチューニングしたモデルにアクセスする

同期されなかったファインチューンを復旧する

W&B でデータセットとモデルをトラッキングする

リソース