429 Rate limit exceeded エラーを wandb.log() を呼び出した際に受け取った場合、project の レート制限 クォータを超えています。Weights & Biases は project ごとに レート制限 を適用し、有料プランは無料プランよりも高い制限があります。
ログする負荷を軽減し、スロットルされたデータを回復するために、以下のステップを使用してください。
レート制限内に抑える
-
W&B SDK を更新する: 最新バージョンには、リクエストの再試行とクォータ使用量の管理を最適化するメカニズムが含まれています。
-
ログする頻度を減らす: メトリクスをログする回数を減らします。たとえば、毎エポックではなく
Nエポックごとにログします: -
データを手動で同期する: レート制限に達した場合、Weights & Biases は run データをローカルに保存します。レート制限が解除された後に
[RUN-FILE-PATH]のローカル run ディレクトリをアップロードするには:
レート制限ヘッダー
クォータの上限にどの程度近づいているか、およびいつログを再開できるかを把握するには、応答のレート制限ヘッダーを確認します。レート制限を受けている場合、応答には以下のヘッダーが含まれます。RateLimit-Remaining が 0 の場合、再試行する前に RateLimit-Reset の数値が示す秒数だけ待機してください。
詳細については、Experiments の制限とパフォーマンスを参照してください。
メトリクス Experiments