시그널 처리 및 스윕 run

​

종료 상태 및 시그널

• 종료 코드 0: W&B는 run이 성공적으로 완료된 것으로 간주하고 다시 큐에 들어가지 않습니다.
• 0이 아닌 종료 코드: W&B는 run을 실패하거나 preempted된 것으로 처리합니다. mark_preempting()을 사용하면 W&B는 run을 다시 큐에 들어가게 하여 다른 에이전트(또는 재시작 후 동일한 에이전트)가 재개할 수 있도록 합니다.

​

Stale run과 server-side timeout

​

포착 가능한 시그널과 선점

• 핸들러는 가능한 한 일찍 등록하세요(예: 메인 트레이닝 루프에 진입하기 전).
• 선점 후 run이 다시 큐에 들어가도록 하려면 핸들러에서 wandb.run.mark_preempting()을 호출하고, 정리 작업(예: 체크포인트 저장)을 수행한 다음 0이 아닌 코드로 종료하세요.

import signal
import sys
import wandb


def signal_handler(signum, frame):
    if wandb.run is not None:
        # 선택: 모델 체크포인트 저장, 버퍼 플러시 등을 수행합니다.
        print(f"Preempted with signal: {signal.Signals(signum).name}.")
        wandb.run.mark_preempting()
    sys.exit(128 + signum)


def train():
    signal.signal(signal.SIGUSR1, signal_handler)
    signal.signal(signal.SIGTERM, signal_handler)

    with wandb.init() as run:
        config = wandb.config
        for epoch in range(100):
            # 트레이닝 step. 필요에 따라 wandb.log(...)를 호출합니다.
            pass


if __name__ == "__main__":
    train()

​

SIGKILL (uncatchable)

​

에이전트에서 자식으로의 시그널 전달

wandb agent --forward-signals entity/project/sweep_ID

​

SLURM과 같은 Preemptible 클러스터

• 스케줄러가 에이전트에 시그널을 보낼 때: wandb agent --forward-signals로 에이전트를 실행하여 스케줄러(또는 사용자)가 에이전트에 시그널을 보내면 에이전트가 이를 자식 프로세스로 전달하도록 합니다. 자식의 핸들러는 wandb.run.mark_preempting(), wandb.finish(exit_code=...)을 0이 아닌 코드와 함께 호출한 후 sys.exit(128 + signum)(또는 다른 0이 아닌 종료 코드)을 실행할 수 있습니다.
• 스케줄러가 에이전트가 아닌 launch 스크립트에 시그널을 보낼 때: launch 스크립트가 선점 시그널을 트레이닝 프로세스에 직접 보내도록 합니다. 예를 들어 트레이닝 스크립트가 자신의 프로세스 ID를 파일에 기록합니다. launch 스크립트는 클러스터 시그널(예: SIGUSR1)을 트랩하고 kill -SIGUSR1 $(cat $PID_FILE)을 실행하여 트레이닝 프로세스의 핸들러가 실행되도록 합니다.

​

wandb sweep --cancel

​

에이전트에 대한 시그널 versus run에 대한 시그널

​

레퍼런스: mark_preempting()과 최종 run 상태