튜토리얼: W&B Launch를 도커로 설정하기

이 튜토리얼에서는 로컬 머신을 launch 에이전트 환경과 큐의 대상 리소스로 모두 사용하여 W&B Launch를 구성하는 방법을 설명합니다. 완료하면 작동하는 도커 기반 launch 큐와 ML 작업을 실행할 준비가 된 로컬 launch 에이전트가 생깁니다. 로컬 머신에서 작업을 실행하고 launch 에이전트의 환경으로 도커를 사용하는 것은 컴퓨트가 Kubernetes와 같은 클러스터 관리 시스템이 없는 머신에 설치된 경우에 유용합니다. 도커 큐를 사용하여 워크스테이션에서 워크로드를 실행할 수도 있습니다.

이 설정은 로컬 머신에서 실험을 실행하거나 원격 머신에 SSH하여 launch 작업을 제출하는 사용자에게 일반적입니다.

Launch와 함께 도커를 사용하면 W&B가 먼저 이미지를 구축한 다음 해당 이미지에서 컨테이너를 구축하고 실행합니다. W&B는 도커 docker run [IMAGE-URI] 명령으로 이미지를 구축합니다. W&B는 큐 설정을 docker run 명령에 전달되는 추가 인수로 해석합니다.

도커 큐 설정

도커 대상 리소스용 큐 설정은 Launch가 큐 옵션을 docker run 명령으로 변환하는 방식을 정의합니다. 도커 대상 리소스에 대한 launch 큐 설정은 docker run CLI 명령에 정의된 옵션과 동일한 옵션을 허용합니다. 에이전트는 큐 설정에 정의된 옵션을 받습니다. 그런 다음 에이전트는 받은 옵션을 launch 작업 설정의 overrides와 병합하여 대상 리소스(이 경우 로컬 머신)에서 실행할 최종 docker run 명령을 생성합니다. 두 가지 구문 변환이 이루어집니다:

큐 설정에서 반복 옵션은 목록으로 정의합니다.
큐 설정에서 플래그 옵션은 값이 true인 부울로 정의합니다.

예를 들어, 다음 큐 설정은 다음과 같습니다:

{
  "env": ["MY_ENV_VAR=value", "MY_EXISTING_ENV_VAR"],
  "volume": "/mnt/datasets:/mnt/datasets",
  "rm": true,
  "gpus": "all"
}

다음 docker run 명령을 생성합니다:

docker run \
  --env MY_ENV_VAR=value \
  --env MY_EXISTING_ENV_VAR \
  --volume "/mnt/datasets:/mnt/datasets" \
  --rm [IMAGE-URI] \
  --gpus all

볼륨은 문자열 목록 또는 단일 문자열로 지정할 수 있습니다. 여러 볼륨을 지정하는 경우 목록을 사용하세요. 도커는 launch 에이전트 환경에서 값이 할당되지 않은 environment variable을 전달합니다. launch 에이전트에 MY_EXISTING_ENV_VAR environment variable이 있는 경우 해당 변수는 컨테이너에서 사용할 수 있습니다. 이는 큐 설정에 게시하지 않고 다른 설정 keys를 사용하려는 경우 유용합니다. docker run 명령의 --gpus 플래그를 사용하면 도커 컨테이너에서 사용할 수 있는 GPU를 지정할 수 있습니다. --gpus 플래그에 대한 자세한 내용은 Docker documentation을 참조하세요.

도커 컨테이너 내에서 GPU를 사용하려면 NVIDIA Container Toolkit을 설치하세요.
코드 또는 artifact 소스 작업에서 이미지를 구축하는 경우 에이전트가 사용하는 기본 이미지를 NVIDIA Container Toolkit이 포함되도록 override할 수 있습니다. 예를 들어 launch 큐 내에서 기본 이미지를 tensorflow/tensorflow:latest-gpu로 override할 수 있습니다:
{ "builder": { "accelerator": { "base_image": "tensorflow/tensorflow:latest-gpu" } } }

큐 만들기

도커를 compute resource로 사용하는 큐를 만들려면 다음 단계를 따르세요:

Launch 페이지로 이동하세요.
Create Queue 버튼을 클릭하세요.
큐를 만들 Entity를 선택하세요.
Name 필드에 큐 이름을 입력하세요.
Resource로 Docker를 선택하세요.
Configuration 필드에 도커 큐 설정을 정의하세요.
Create Queue 버튼을 클릭하세요.

이제 도커 기반 launch 큐가 작업을 받을 준비가 되었습니다. 다음으로 로컬 머신에 launch agent를 설정하여 이 큐에서 작업을 pull하세요.

로컬 머신에서 launch agent 구성

launch agent를 launch-config.yaml이라는 YAML 설정 파일로 구성하세요. 기본적으로 W&B는 ~/.config/wandb/launch-config.yaml에서 설정 파일을 확인합니다. launch agent를 활성화할 때 선택적으로 다른 디렉터리를 지정할 수 있습니다.

W&B CLI를 사용하여 launch agent의 핵심 구성 옵션(설정 YAML 파일 대신)을 지정할 수 있습니다: 최대 작업 수, W&B entity, launch 큐. 자세한 내용은 wandb launch-agent 명령을 참조하세요.

핵심 에이전트 설정 옵션

다음 탭은 W&B CLI와 YAML 설정 파일을 사용하여 핵심 에이전트 설정 옵션을 지정하는 방법을 보여줍니다:

W&B CLI
설정 파일

wandb launch-agent -q [QUEUE-NAME] --max-jobs [N]

launch-config.yaml

max_jobs: [N-CONCURRENT-JOBS]
queues:
	- [QUEUE-NAME]

도커 이미지 builders

로컬 머신에서 launch 에이전트가 도커 이미지를 구축하도록 설정할 수 있습니다. 기본적으로 머신의 로컬 이미지 저장소에 이러한 이미지가 저장됩니다. launch 에이전트가 도커 이미지를 구축하도록 하려면 launch 에이전트 설정에서 builder 키를 docker로 설정하세요:

launch-config.yaml

builder:
	type: docker

에이전트가 도커 이미지를 구축하지 않고 레지스트리에서 미리 구축된 이미지를 대신 사용하려면, launch 에이전트 설정에서 builder 키를 noop으로 설정하세요:

launch-config.yaml

builder:
  type: noop

컨테이너 레지스트리

Launch는 Docker Hub, Google Container Registry, Azure Container Registry, Amazon ECR과 같은 외부 컨테이너 레지스트리를 사용합니다. 구축한 환경과 다른 환경에서 작업을 실행하려면 launch 에이전트가 컨테이너 레지스트리에서 pull 하도록 설정하세요. 이렇게 하면 에이전트가 로컬에서 구축되지 않은 이미지를 가져올 수 있습니다. launch 에이전트를 클라우드 레지스트리와 연결하는 방법에 대해 자세히 알아보려면 고급 에이전트 설정 페이지를 참조하세요.

​도커 큐 설정

​큐 만들기

​로컬 머신에서 launch agent 구성

​핵심 에이전트 설정 옵션

​도커 이미지 builders

​컨테이너 레지스트리

도커 큐 설정

큐 만들기

로컬 머신에서 launch agent 구성

핵심 에이전트 설정 옵션

도커 이미지 builders

컨테이너 레지스트리