대화형 Queue monitoring dashboard를 사용하면 Launch 큐가 많이 사용되는 시점과 유휴 상태인 시점을 확인하고, 실행 중인 워크로드를 시각화하고, 비효율적인 작업을 찾아낼 수 있습니다. Launch 큐 대시보드를 통해 컴퓨팅 하드웨어나 클라우드 리소스를 효율적으로 사용하고 있는지 판단할 수 있습니다.
더 심층적으로 분석하려면 이 페이지에서 W&B 실험 추적 워크스페이스나 Datadog, NVIDIA Base Command, 클라우드 콘솔 같은 외부 인프라 모니터링 공급자로 이동할 수 있습니다.
큐 모니터링 대시보드는 W&B Multi-tenant Cloud 배포 옵션에서만 사용할 수 있습니다.
대시보드 및 플롯
Monitor 탭에서 지난 7일 동안의 큐 활동을 확인하세요. 왼쪽 패널에서 시간 범위, 그룹화, 필터를 설정할 수 있습니다.
대시보드에는 성능과 효율성에 관해 자주 묻는 질문에 답해 주는 여러 플롯이 있습니다. 다음 섹션에서는 큐 대시보드의 UI 요소를 설명합니다.
Job status
Job status 플롯은 각 시간 간격마다 실행 중, 대기 중(pending), 큐에 있음(queued), 완료 상태인 작업이 각각 몇 개인지 보여 줍니다. Job status 플롯을 사용하면 큐가 유휴 상태였던 기간을 파악할 수 있습니다.
예를 들어 고정 리소스(예: DGX BasePod)를 사용한다고 가정해 보겠습니다. 고정 리소스에서 큐가 유휴 상태로 남아 있다면, 스윕처럼 우선순위가 낮은 선점형 Launch 작업을 실행하기에 좋은 기회일 수 있습니다.
반대로 클라우드 리소스를 사용하는데 활동이 주기적으로 급증한다면, 특정 시간대에 맞춰 리소스를 예약해 비용을 절감할 수 있습니다.
플롯 오른쪽의 키에서 각 색상이 나타내는 Launch 작업 상태를 확인할 수 있습니다.
Queued 항목이 많다면 워크로드를 다른 큐로 옮기는 것을 고려해 볼 수 있습니다. 실패가 급증하면 Launch 작업 설정에 도움이 필요한 사용자를 파악할 수 있습니다.
대기 시간
대기 시간 플롯은 지정한 날짜 또는 시간 범위 동안 Launch 작업이 큐에서 대기한 시간(초)을 보여 줍니다.
X축은 지정한 시간을, Y축은 Launch 작업이 Launch 큐에서 대기한 시간(초)을 나타냅니다. 예를 들어 특정 날짜에 Launch 작업 10개가 큐에 추가되었다고 가정해 보겠습니다. 이 10개 작업이 각각 평균 60초씩 대기했다면 Queue time 플롯에는 600초가 표시됩니다.
대기 시간 플롯을 사용하면 큐 대기 시간이 길어져 영향을 받는 사용자를 파악할 수 있습니다.
Job runs
Job runs 플롯은 특정 기간 동안 실행된 모든 작업의 시작과 종료 시점을 보여 주며, 각 run은 서로 다른 색상으로 구분됩니다. 이를 통해 특정 시점에 큐가 어떤 워크로드를 처리하고 있었는지 한눈에 파악할 수 있습니다.
패널 오른쪽 하단의 Select 도구로 작업 위를 드래그해 선택하면 아래 table에 세부 정보가 표시됩니다.
CPU 및 GPU 사용량
GPU use by a job, CPU use by a job, GPU memory by job, System memory by job 플롯에서 Launch 작업의 효율성을 확인하세요.
예를 들어 GPU memory by job 플롯을 보면 W&B run이 완료되기까지 오래 걸렸는지, CPU 코어를 낮은 비율로만 사용했는지 확인할 수 있습니다.
각 플롯의 x축은 Launch 작업으로 생성된 W&B run의 실행 시간을 초 단위로 나타냅니다. 데이터 포인트에 마우스를 올리면 run ID, run이 속한 프로젝트, 해당 W&B run을 생성한 Launch 작업 등 W&B run 관련 정보를 확인할 수 있습니다.
오류 패널에는 특정 Launch 큐에서 발생한 오류가 표시됩니다. 구체적으로는 오류가 발생한 시점의 타임스탬프, 오류가 발생한 launch 작업의 이름, 생성된 오류 메시지를 확인할 수 있습니다. 기본적으로 오류는 최신순으로 표시됩니다.
오류 패널을 사용해 문제를 파악하고, 작업이 막힌 사용자가 다시 진행할 수 있도록 지원하세요.
외부 링크
큐 관측성 대시보드의 뷰는 모든 큐 유형에서 동일하지만, 환경별 모니터로 바로 이동할 수 있으면 편리한 경우가 많습니다. 이를 위해 큐 관측성 대시보드에서 콘솔로 바로 이동하는 링크를 추가하세요.
외부 링크를 추가하려면 Manage Links를 클릭하여 패널을 여세요. 원하는 페이지의 전체 URL을 입력한 다음 레이블을 입력하세요. 추가한 링크는 외부 링크 섹션에 표시됩니다. 
