wandb.init() の実行やメトリクスのアップロードが遅い場合、主な原因として、ネットワークのレイテンシー、メディアのペイロードサイズが大きいこと、ログする頻度が高いこと、W&B の service プロセスの起動に時間がかかっていることなどが考えられます。
wandb.init() が遅い
wandb.init() は W&B API に接続して run を作成し、認証情報を検証します。数秒以上応答がない場合は、次の点を確認してください。
-
接続性を確認する:
curl -I https://api.wandb.aiを実行して、マシンから W&B API に到達できることを確認します。よくある原因は、クラスター上のファイアウォールルールやプロキシ設定です。 -
init のタイムアウトを延長する: 接続が不安定な場合は、
wandb.init()がタイムアウトするまでの時間を延ばします。 -
テスト中はオフラインモードを使用する: 試行錯誤の段階でリアルタイムの同期が不要な場合は、オフラインで実行して後から同期します。
[TIMESTAMP]と[ID]は、対象の run のタイムスタンプと ID に置き換えてください。
トレーニング中のメトリクスのアップロードが遅い
Weights & Biases はメトリクスをバックグラウンドスレッドで非同期にアップロードするため、トレーニングループがブロックされることはありません。ただし、次のような場合にはアップロードが追いつかなくなることがあります。-
ログする頻度が高すぎる: 高速な GPU で毎ステップ
wandb.log()を呼び出すと、バックグラウンドスレッドでアップロードしきれない量のデータが生成されることがあります。N ステップごとにログするようにしてください。 -
毎ステップ大きなメディアをログしている:
wandb.Image、wandb.Table、wandb.Videoオブジェクトは、スカラーのメトリクスに比べてサイズがはるかに大きくなります。リッチメディアは毎ステップではなく、エポックごとまたは N ステップごとにログしてください。 -
レート制限:
429 Rate limit exceededエラーが発生した場合は、レート制限超過エラーを解決するにはどうすればよいですかを参照してください。
run の終了処理が遅い
スクリプトがwandb.finish() を呼び出した後 (またはスクリプトが終了した後) 、Weights & Biases はバッファに残っているデータをフラッシュします。トレーニング中に大量の未送信データが溜まっていると、この処理に時間がかかることがあります。最後にすべてをまとめてログするのではなく、トレーニング全体を通して適度な頻度でログするようにしてください。
デバッグログを使用した診断
デバッグログを有効にすると、どこで時間がかかっているかを確認できます。wandb/debug.log と wandb/debug-internal.log に書き込まれます。
詳しくは、Experiments の制限とパフォーマンス および ネットワークの問題にはどう対処すればよいですか? を参照してください。
Runs Experiments 接続性