내 run의 콘솔 출력이 캡처되지 않는 이유는 무엇인가요?

W&B는 스크립트의 stdout과 stderr를 캡처하여 run의 Files 탭에 output.log로 저장합니다. 기본적으로 해당 파일은 run이 종료될 때 업로드되므로, 비어 있거나 누락된 로그는 종종 타이밍 문제이지 캡처 실패가 아닙니다. 멀티파트 업로드(console_multipart), chunk rollover 및 활성화 시기에 대한 내용은 콘솔 로그와 wandb.Settings를 참조하세요. 로그를 다운로드하려면 How do I download the console log file from a run?를 참조하세요.

콘솔 캡처가 비활성화됨

콘솔 캡처는 설정에서 또는 환경 변수로 끌 수 있습니다:

wandb.init(settings=wandb.Settings(console="off"))

WANDB_CONSOLE=off python my_script.py

환경이나 Launch 설정에 설정되어 있는지 확인하세요. 다시 활성화하려면 설정을 제거하거나 WANDB_CONSOLE=wrap으로 설정하세요.

분산 트레이닝 (DDP / 멀티프로세싱)

Logs 탭은 활성 W&B run을 소유한 프로세스의 출력만 기록합니다. Lightning/DDP에서는 run을 소유하지 않은 작업자 프로세스의 print() 또는 wandb.termlog() 출력이 로컬 터미널에만 표시됩니다. rank 0에서 run을 초기화하고 console="wrap"을 사용하세요.

import wandb
from lightning.pytorch import Trainer
from lightning.pytorch.loggers import WandbLogger

wandb_logger = WandbLogger(
    project="my_project",
    settings=wandb.Settings(console="wrap"),  # or WANDB_CONSOLE=wrap
)
trainer = Trainer(logger=wandb_logger, strategy="ddp", devices=2, accelerator="gpu")

Logs 탭이 계속 비어 있다면 console="redirect"를 사용해 보세요. 출력이 실시간으로 스트리밍되지 않더라도 Files 탭의 output.log에 표시될 수 있습니다. rank-0 로깅 패턴은 분산 실험 로깅하기를 참조하세요.

run이 아직 활성 상태인데 Files 탭에 파일이 없는 경우

run이 활성 상태인 동안 Logs 탭에는 출력이 스트리밍되지만, wandb.init() 시점에 멀티파트 콘솔 로깅을 활성화하지 않았다면 output.log는 보통 run이 종료된 후에야 Files에 표시됩니다. run이 시작된 후에는 업로드 주기를 변경할 수 없습니다.

flush 전에 run이 크래시됨

멀티파트 로깅 없이, 강제 종료된 run(OOM, SIGKILL 등)은 output.log를 업로드하지 않을 수 있으며 다운로드 버튼이 표시되지 않을 수 있습니다. run 시작 전에 console_multipart를 활성화하여 크래시 전에 업로드된 chunks가 서버에 남도록 하세요. 로컬 복사본은 항상 wandb/run-[TIMESTAMP]-[ID]/logs/output.log에 기록됩니다.

재개된 run에서 이전 콘솔 출력이 손실됨

이전 SDK에서는 wandb.init(resume="allow", id=...)가 단일 output.log를 덮어쓸 수 있습니다. console_multipart=True를 사용하면 각 세션의 chunks가 logs/ 아래에 별도로 저장됩니다. 설정 방법은 콘솔 로그를 참조하세요.

Logs 탭에 예상보다 적은 줄이 표시됩니다

Logs 탭은 성능을 위해 표시 한도를 적용합니다: run은 최대 100,000줄을 저장하고, App은 한 번에 최대 10,000줄을 표시합니다. 로그를 스크롤하여 이전 줄을 확인하세요. 전체 로그는 output.log 또는 멀티파트 chunks에 있습니다. run 세부 정보의 Files 탭에서 또는 API를 통해 다운로드하세요.

Logs Runs

​콘솔 캡처가 비활성화됨

​분산 트레이닝 (DDP / 멀티프로세싱)

​run이 아직 활성 상태인데 Files 탭에 파일이 없는 경우

​flush 전에 run이 크래시됨

​재개된 run에서 이전 콘솔 출력이 손실됨

​Logs 탭에 예상보다 적은 줄이 표시됩니다