> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.
# PyTorch torchtune
> PyTorch torchtune で W&B ロギングを使用し、WandBLogger メトリクスロガーで LLM のファインチューニング実験をトラッキングします。
export const ColabLink = ({url}) =>
Try in Colab
;
[torchtune](https://meta-pytorch.org/torchtune/stable/index.html) は、LLM の開発、ファインチューニング、実験を効率化する PyTorch ベースのライブラリです。torchtune は [W\&B でログする機能](https://meta-pytorch.org/torchtune/stable/deep_dives/wandb_logging.html)も標準でサポートしており、トレーニングプロセスのトラッキングと可視化を強化します。
このガイドでは、torchtune のレシピで W\&B にログする機能を有効にする方法、`WandBLogger` メトリクスロガーを設定する方法、torchtune がデフォルトでトラッキングするメトリクス、およびモデル チェックポイントを W\&B Artifacts に保存する方法を説明します。
W\&B のブログ記事「[torchtune を使用した Mistral 7B のファインチューニング](https://forge.coreweave.com/wandb/capecape/torchtune-mistral/reports/torchtune-The-new-PyTorch-LLM-fine-tuning-library---Vmlldzo3NTUwNjM0)」をご覧ください。
W\&B ロギングを有効にする
W\&B ロギングを有効にする方法は 2 つあります。起動時にコマンドラインから引数を上書きするか、レシピの設定ファイルを編集します。ワークフローに合った方法を選択してください。
起動時にコマンドライン引数を上書きします。
```bash theme={"system"}
tune run lora_finetune_single_device --config llama3/8B_lora_single_device \
metric_logger._component_=torchtune.utils.metric_logging.WandBLogger \
metric_logger.project="llama3_lora" \
log_every_n_steps=5
```
レシピの設定で W\&B ロギングを有効にします。
```yaml theme={"system"}
# llama3/8B_lora_single_device.yaml 内
metric_logger:
_component_: torchtune.utils.metric_logging.WandBLogger
project: llama3_lora
log_every_n_steps: 5
```
W\&B メトリクスロガーを使用する
レシピの設定ファイルの `metric_logger` セクションを変更して、W\&B ロギングを有効にします。`_component_` を `torchtune.utils.metric_logging.WandBLogger` クラスに変更します。`project` 名と `log_every_n_steps` を渡して、ログする際の動作をカスタマイズすることもできます。
[wandb.init()](/ja/products/wandb/ref/python/functions/init) メソッドと同様に、その他の `kwargs` も渡せます。たとえば、チームで作業する場合は、`WandBLogger` クラスに `entity` 引数を渡してチーム名を指定できます。
```yaml theme={"system"}
# llama3/8B_lora_single_device.yaml 内
metric_logger:
_component_: torchtune.utils.metric_logging.WandBLogger
project: llama3_lora
entity: my_project
job_type: lora_finetune_single_device
group: my_awesome_experiments
log_every_n_steps: 5
```
```shell theme={"system"}
tune run lora_finetune_single_device --config llama3/8B_lora_single_device \
metric_logger._component_=torchtune.utils.metric_logging.WandBLogger \
metric_logger.project="llama3_lora" \
metric_logger.entity="my_project" \
metric_logger.job_type="lora_finetune_single_device" \
metric_logger.group="my_awesome_experiments" \
log_every_n_steps=5
```
ログされたデータ
W\&B ロギングを有効にすると、W\&B ダッシュボードでログされたメトリクスを確認できます。デフォルトでは、W\&B は設定ファイルと Launch のオーバーライドに含まれるすべてのハイパーパラメーターをログするため、各 run の設定をメトリクスとともに記録できます。
W\&B は、解決済みの設定を **Overview** タブで取得します。また、[Files タブ](https://forge.coreweave.com/wandb/capecape/torchtune/runs/joyknwwa/files)に設定を YAML 形式で保存します。
ログされたメトリクス
各レシピには独自のトレーニングループがあります。ログされるメトリクスについては、個々のレシピを確認してください。デフォルトでは、次のメトリクスが含まれます。
| メトリクス | 説明 |
| - | - |
| `loss` | モデルの損失です。 |
| `lr` | 学習率です。 |
| `tokens_per_second` | モデルの1秒あたりのトークン数です。 |
| `grad_norm` | モデルの勾配ノルムです。 |
| `global_step` | トレーニングループの現在のステップに対応します。勾配累積を考慮します。オプティマイザーのステップが実行されるたびにモデルが更新され、勾配が累積され、`gradient_accumulation_steps` ごとにモデルが1回更新されます。 |
`global_step` はトレーニングステップ数とは異なります。トレーニングループの現在のステップに対応し、勾配累積を考慮します。オプティマイザーのステップが実行されるたびに、`global_step` は1増加します。たとえば、データローダーに10バッチがあり、勾配累積ステップ数が2で、3エポック実行する場合、オプティマイザーは15回ステップを実行するため、`global_step` の範囲は1から15になります。
torchtune の設計により、カスタムメトリクスを追加したり、既存のメトリクスを変更したりできます。対応する[レシピファイル](https://github.com/meta-pytorch/torchtune/tree/main/recipes)を変更してください。たとえば、次のように `current_epoch` を総エポック数に対する割合としてログすることができます。
```python theme={"system"}
# レシピファイルの `train.py` 関数内
self._metric_logger.log_dict(
{"current_epoch": self.epochs * self.global_step / self._steps_per_epoch},
step=self.global_step,
)
```
ログされるメトリクスの種類は、torchtune のリリースによって変わる場合があります。カスタムメトリクスを追加するには、レシピを変更し、対応する `self._metric_logger.*` 関数を呼び出してください。
チェックポイントの保存と読み込み
チェックポイントを W\&B Artifacts に保存すると、各 run のメトリクスや設定とともにモデルの重みをバージョン管理でき、後から結果を再現したりモデルのバージョンを比較したりできます。
torchtune ライブラリは、複数の[チェックポイント形式](https://meta-pytorch.org/torchtune/stable/deep_dives/checkpointer.html)をサポートしています。使用するモデルの入手元に応じて、適切な[チェックポインタークラス](https://meta-pytorch.org/torchtune/stable/deep_dives/checkpointer.html)に切り替える必要があります。
モデル チェックポイントを [W\&B Artifacts](/ja/products/wandb/artifacts) に保存するには、対応するレシピ内の `save_checkpoint` 関数を上書きする方法を推奨します。
次の例では、`save_checkpoint` 関数を上書きして、モデル チェックポイントを W\&B Artifacts に保存する方法を示します。
```python theme={"system"}
def save_checkpoint(self, epoch: int) -> None:
...
## W&B にチェックポイントを保存します。
## ファイル名は Checkpointer クラスによって異なります。
## 以下は full_finetune の場合の例です。
checkpoint_file = Path.joinpath(
self._checkpointer._output_dir, f"torchtune_model_{epoch}"
).with_suffix(".pt")
wandb_artifact = wandb.Artifact(
name=f"torchtune_model_{epoch}",
type="model",
# モデル チェックポイントの説明
description="Model checkpoint",
# 任意のメタデータを dict として追加できます
metadata={
utils.SEED_KEY: self.seed,
utils.EPOCHS_KEY: self.epochs_run,
utils.TOTAL_EPOCHS_KEY: self.total_epochs,
utils.MAX_STEPS_KEY: self.max_steps_per_epoch,
},
)
wandb_artifact.add_file(checkpoint_file)
wandb.log_artifact(wandb_artifact)
```