분산 트레이닝 실험 로깅하기

if __name__ == "__main__":
    # 인수 가져오기
    args = parse_args()

    if args.local_rank == 0:  # 메인 프로세스에서만 실행
        # wandb run 초기화
        run = wandb.init(
            entity=args.entity,
            project=args.project,
        )
        # DDP로 모델 학습
        train(args, run)
    else:
        train(args)

if __name__ == "__main__":
    # 인수 가져오기
    args = parse_args()
    # run 초기화
    run = wandb.init(
        entity=args.entity,
        project=args.project,
        group="DDP",  # 실험의 모든 run을 하나의 그룹으로 묶음
    )
    # DDP로 모델 학습
    train(args, run)

    run.finish()  # run을 완료 상태로 표시

   # 메인 코디네이터 노드
   with wandb.init(project="<project>", job_type="main", group="experiment_1") as run:
        # 트레이닝 코드

   # 결과를 보고하는 워커 노드
   with wandb.init(project="<project>", job_type="worker", group="experiment_1") as run:
        # 트레이닝 코드

import wandb

entity = "your-entity"
project = "your-project"

# 기본 노드에서 run을 초기화합니다
with wandb.init(
    entity=entity,
    project=project,
    settings=wandb.Settings(
        x_label="rank_0",
        mode="shared",
        x_primary=True,
        x_stats_gpu_device_ids=[0, 1],  # (선택) GPU 0과 1의 메트릭만 추적합니다
    )
) as run:
    # 여기에 기본 노드 로직을 작성하세요

import wandb

entity = "your-entity"
project = "your-project"
rank = 1

# 워커 노드에서 run을 초기화합니다.
# W&B는 워커 프로세스 환경에서 WANDB_RUN_ID를 자동으로 읽어 옵니다.
with wandb.init(
    entity=entity,  # 프라이머리 노드와 동일한 entity를 사용하세요
    project=project,  # 프라이머리 노드와 동일한 프로젝트를 사용하세요
    settings=wandb.Settings(
        x_label=f"rank_{rank}",
        mode="shared",
        x_primary=False,
        x_update_finish_state=False,
    ),
) as run:
    # 여기에 워커 노드 로직을 작성하세요

import multiprocessing as mp

def do_work(n):
    with wandb.init(config=dict(n=n)) as run:
        run.log(dict(this=n * n))

def main():
    wandb.setup()
    pool = mp.Pool(processes=4)
    pool.map(do_work, range(4))


if __name__ == "__main__":
    main()

def do_work(run):
    with wandb.init() as run:
        run.log(dict(this=1))

def main():
    run = wandb.init()
    p = mp.Process(target=do_work, kwargs=dict(run=run))
    p.start()
    p.join()
    run.finish()  # run을 완료 상태로 표시


if __name__ == "__main__":
    main()

if __name__ == "__main__":
    main()


def main():
    wandb.require("service")
    # 여기에 나머지 스크립트를 작성하세요