run のコンソール出力が取得されないのはなぜですか?

W&B はスクリプトの stdout と stderr を取得し、run の Files タブに output.log として保存します。デフォルトでは、このファイルは run の終了時にアップロードされます。そのため、ログが空だったり見当たらなかったりする場合、原因は取得の失敗ではなく、タイミングの問題であることがほとんどです。マルチパートアップロード (console_multipart)、チャンクのロールオーバー、およびこれらを有効にすべきケースについては、コンソールログと wandb.Settings を参照してください。ログのダウンロード方法については、run からコンソールログファイルをダウンロードするにはどうすればよいですか? を参照してください。

コンソール出力の取得が無効になっている

コンソール出力の取得は、設定または環境変数で無効にできます。

wandb.init(settings=wandb.Settings(console="off"))

WANDB_CONSOLE=off python my_script.py

環境または起動設定で、いずれかが設定されていないか確認してください。再び有効にするには、その設定を削除するか、WANDB_CONSOLE=wrap を設定します。

分散トレーニング (DDP / マルチプロセッシング)

Logs タブには、実行中の W&B run を所有するプロセスの出力のみが記録されます。Lightning/DDP では、run を所有していないワーカープロセスから print() や wandb.termlog() で出力した内容は、ローカルのターミナルにのみ表示されます。run は rank 0 で初期化し、console="wrap" を使用してください。

import wandb
from lightning.pytorch import Trainer
from lightning.pytorch.loggers import WandbLogger

wandb_logger = WandbLogger(
    project="my_project",
    settings=wandb.Settings(console="wrap"),  # または WANDB_CONSOLE=wrap を設定
)
trainer = Trainer(logger=wandb_logger, strategy="ddp", devices=2, accelerator="gpu")

Logs タブが空のままの場合は、console="redirect" を試してください。リアルタイムでストリーミングされない場合でも、Files タブの output.log に出力が記録されていることがあります。rank 0 でログするパターンについては、分散実験をログするを参照してください。

run が実行中なのに Files タブにファイルが表示されない

run の実行中、Logs タブには出力がストリーミング表示されます。ただし、wandb.init() の時点でマルチパートコンソールログを有効にしていない限り、通常 output.log は run が終了するまで Files に表示されません。アップロードの頻度は、run の開始後に変更できません。

フラッシュ前に run がクラッシュした場合

マルチパートログを使用していない場合、強制終了された run (OOM、SIGKILL など) では output.log がアップロードされず、ダウンロードボタンも表示されないことがあります。run を開始する前に console_multipart を有効にしておけば、クラッシュ前にアップロード済みのチャンクはサーバー上に残ります。なお、ローカルには常に wandb/run-[TIMESTAMP]-[ID]/logs/output.log にコピーが書き込まれます。

再開した run で以前のコンソール出力が失われる

古い SDK では、wandb.init(resume="allow", id=...) によって単一の output.log が上書きされる場合があります。console_multipart=True を指定すると、セッションごとに個別のチャンクが logs/ 配下に作成されます。設定方法については、コンソールログを参照してください。

Logs タブに表示される行数が想定より少ない

Logs タブでは、パフォーマンス上の理由から表示される行数に上限があります。1 つの run に保存できるのは合計で最大 100,000 行で、App に一度に表示できるのは最大 10,000 行です。古い行を表示するには、ログをスクロールしてください。ログ全体は output.log またはマルチパートのチャンクとして保存されています。run の詳細の Files タブ、または API からダウンロードできます。

Logs Runs

​コンソール出力の取得が無効になっている

​分散トレーニング (DDP / マルチプロセッシング)

​run が実行中なのに Files タブにファイルが表示されない

​フラッシュ前に run がクラッシュした場合

​再開した run で以前のコンソール出力が失われる

​Logs タブに表示される行数が想定より少ない