run_id を渡すか、wandb.init(resume=...) を使用すると、Weights & Biases は run ID を無視し、代わりに新しい run を開始します。次の警告が表示されます:
-
単一の run 内でチェックポイントを保存して再読み込みする: トレーニング関数内で、モデル チェックポイントを定期的に保存します。再起動時には、
train()の冒頭で最新のチェックポイントを読み込みます。sweep は新しい run を開始しますが、トレーニングは保存された状態から再開されます。 -
SLURM で
--count 1を使用し、キューに入れ直す: 各 sweep エージェントのジョブをwandb agent --count 1 SWEEP_IDで送信します。ジョブがプリエンプトされた場合、SLURM はそのジョブをキューに入れ直すことができ、sweep コントローラーは新しい設定を割り当てます。 - run を失敗としてマークし、手動でキューに入れ直す: run が途中でクラッシュすると、sweep コントローラーは最終的にその run を失敗としてマークし、sweep の設定によっては、同じ設定を新しいエージェントに割り当てる場合があります。
wandb.init(resume="allow", id="YOUR_RUN_ID") を使用してください。run の再開と sweep のトラブルシューティングを参照してください。
Sweeps 再開