分散トレーニングの実験をログする

if __name__ == "__main__":
    # 引数を取得
    args = parse_args()

    if args.local_rank == 0:  # メインプロセスでのみ実行
        # wandb の run を初期化
        run = wandb.init(
            entity=args.entity,
            project=args.project,
        )
        # DDP でモデルをトレーニング
        train(args, run)
    else:
        train(args)

if __name__ == "__main__":
    # 引数を取得
    args = parse_args()
    # run を初期化
    run = wandb.init(
        entity=args.entity,
        project=args.project,
        group="DDP",  # この実験のすべての run を 1 つのグループにまとめる
    )
    # DDP でモデルをトレーニング
    train(args, run)

    run.finish()  # run を完了としてマーク

   # 全体を調整するメインノード
   with wandb.init(project="<project>", job_type="main", group="experiment_1") as run:
        # トレーニングコード

   # 結果を報告するワーカーノード
   with wandb.init(project="<project>", job_type="worker", group="experiment_1") as run:
        # トレーニングコード

import wandb

entity = "your-entity"
project = "your-project"

# プライマリノードで run を初期化します
with wandb.init(
    entity=entity,
    project=project,
    settings=wandb.Settings(
        x_label="rank_0",
        mode="shared",
        x_primary=True,
        x_stats_gpu_device_ids=[0, 1],  # （オプション）GPU 0 と 1 のメトリクスのみをトラッキングします
    )
) as run:
    # ここにプライマリノードの処理を記述します

import wandb

entity = "your-entity"
project = "your-project"
rank = 1

# ワーカーノードで run を初期化します。
# W&B はワーカープロセスの環境から WANDB_RUN_ID を自動的に読み取ります。
with wandb.init(
    entity=entity,  # プライマリノードと同じ entity を使用します
    project=project,  # プライマリノードと同じ project を使用します
    settings=wandb.Settings(
        x_label=f"rank_{rank}",
        mode="shared",
        x_primary=False,
        x_update_finish_state=False,
    ),
) as run:
    # ここにワーカーノードのロジックを記述します

import multiprocessing as mp

def do_work(n):
    with wandb.init(config=dict(n=n)) as run:
        run.log(dict(this=n * n))

def main():
    wandb.setup()
    pool = mp.Pool(processes=4)
    pool.map(do_work, range(4))


if __name__ == "__main__":
    main()

def do_work(run):
    with wandb.init() as run:
        run.log(dict(this=1))

def main():
    run = wandb.init()
    p = mp.Process(target=do_work, kwargs=dict(run=run))
    p.start()
    p.join()
    run.finish()  # run を完了済みにします


if __name__ == "__main__":
    main()

if __name__ == "__main__":
    main()


def main():
    wandb.require("service")
    # 以降にスクリプトの残りの処理を記述します