Hugging Face - CoreWeave Docs

このチュートリアルでは、W&B と Hugging Face Transformers のインテグレーションを使用して、モデルのファインチューニング中に学習および評価の指標、Hyperparameters、システム統計情報を自動的に記録する方法を紹介します。このチュートリアルを通じて、W&B ダッシュボードでモデルのパフォーマンスを可視化し、実験を比較しながら自信を持ってモデルを改善していく方法を習得できます。 Hyperparameters、出力指標、GPU 使用率などのシステム統計情報を、モデル間で比較できます。

W&B を使用する理由

統合されたダッシュボード: モデルのメトリクスと予測をすべて一元管理できます。
軽量: Hugging Face と統合する際にコードを変更する必要はありません。
利用しやすさ: 個人および学術チームは無料で利用できます。
安全性: すべての project はデフォルトで非公開です。
実績: OpenAI、Toyota、Lyft などの機械学習チームで使用されています。

W&B は、機械学習モデル向けの GitHub のようなものです。機械学習の実験を、ホスト型の非公開ダッシュボードに保存できます。スクリプトをどこで実行しても、W&B がモデルのすべてのバージョンを保存するため、安心して実験に取り組めます。 W&B の軽量なインテグレーションは、あらゆる Python スクリプトで動作します。無料の W&B アカウントに登録して、モデルのトラッキングと可視化を始めましょう。 Hugging Face Transformers リポジトリでは、W&B によって Trainer がインストルメントされており、ログするステップごとにトレーニングメトリクスと評価メトリクスが W&B に自動的にログされます。インテグレーションの仕組みの詳細については、Hugging Face + W&B Report を参照してください。

インストール、インポート、ログイン

このセクションでは、チュートリアルの実行に必要な環境をセットアップします。Hugging Face と W&B のライブラリをインストールし、このチュートリアルで使用する GLUE データセットとトレーニングスクリプトをダウンロードします。

Hugging Face Transformers: 自然言語モデルとデータセット。
W&B: 実験のトラッキングと可視化。
GLUE データセット: 言語理解のベンチマークデータセット。
GLUE スクリプト: シーケンス分類向けのモデルのトレーニングスクリプト。

!pip install datasets wandb evaluate accelerate -qU
!wget https://raw.githubusercontent.com/huggingface/transformers/refs/heads/main/examples/pytorch/text-classification/run_glue.py

# run_glue.py スクリプトの実行には transformers の開発版が必要です
!pip install -q git+https://github.com/huggingface/transformers

続行する前に、無料アカウントにサインアップしてください。run のデータを W&B のダッシュボードに送信するには、アカウントが必要です。

APIキーを追加する

APIキーで認証すると、このノートブックが W&B アカウントにリンクされ、run が project にログされます。登録後、次のセルを実行し、リンクをクリックして APIキーを取得し、このノートブックを認証してください。

import wandb
wandb.login()

必要に応じて、環境変数を設定して、トレーニング中に W&B がログする内容をカスタマイズできます。たとえば、WANDB_WATCH=all を設定すると、勾配とパラメーターの両方をログできます。オプションの全一覧については、Hugging Face インテグレーションガイドを参照してください。

# 任意: 勾配とパラメーターの両方をログします
%env WANDB_WATCH=all

モデルのトレーニング

環境の設定と認証が完了したら、トレーニング run を開始できます。ダウンロードしたトレーニングスクリプト run_glue.py を実行して、トレーニングが自動的に W&B ダッシュボードで追跡されることを確認してください。このスクリプトは、Microsoft Research Paraphrase Corpus (意味的に等価かどうかを示す人によるアノテーションが付いた文のペア) を使って BERT をファインチューンします。

%env WANDB_PROJECT=huggingface-demo
%env TASK_NAME=MRPC

!python run_glue.py \
  --model_name_or_path bert-base-uncased \
  --task_name $TASK_NAME \
  --do_train \
  --do_eval \
  --max_seq_length 256 \
  --per_device_train_batch_size 32 \
  --learning_rate 2e-4 \
  --num_train_epochs 3 \
  --output_dir /tmp/$TASK_NAME/ \
  --overwrite_output_dir \
  --logging_steps 50

ダッシュボードで結果を可視化する

トレーニングが始まると、メトリクスをリアルタイムで監視できます。前のセルで出力されたリンクをクリックするか、wandb.ai にアクセスして、結果がリアルタイムで更新される様子を確認してください。ブラウザーで run を表示するためのリンクは、すべての依存関係が読み込まれた後に表示されます。次の出力を探してください: “wandb: View run at [run 固有の URL]”

モデル性能を可視化する

実験全体を確認し、検出結果をズームインして、高次元データを可視化します。

アーキテクチャの比較

BERT と DistilBERTを比較する例です。自動生成される折れ線グラフで、アーキテクチャの違いがトレーニング全体を通じて評価精度にどのように影響するかを確認できます。

主要な情報をデフォルトで記録する

このセクションでは、W&B が自動的に取得する内容を説明します。これにより、追加の設定を行わなくてもダッシュボードでどのデータを利用できるかを把握できます。W&B は実験ごとに新しい run を保存します。デフォルトで保存される情報は次のとおりです。

Hyperparameters: モデルの設定を Config に保存します。
モデルのメトリクス: ストリーミングされるメトリクスの時系列データを Log に保存します。
ターミナルログ: コマンドラインの出力を保存し、タブで参照できるようにします。
システムメトリクス: GPU と CPU の使用率、メモリ、温度。

詳細はこちら

YouTube の解説動画

​W&B を使用する理由

​インストール、インポート、ログイン

​APIキーを追加する

​モデルのトレーニング

​ダッシュボードで結果を可視化する

​モデル性能を可視化する

​アーキテクチャの比較

​主要な情報をデフォルトで記録する

​詳細はこちら