Automations 개요

자동화는 W&B의 특정 이벤트에 대한 응답으로 Slack 알림을 보내거나, 웹훅을 실행하거나, ARIA에 프롬프트를 보냅니다. 자동화의 범위를 조직, 팀, 프로젝트, 레지스트리 또는 컬렉션으로 지정할 수 있습니다. 자동화는 해당 범위 내의 모든 항목(나중에 생성된 프로젝트, 레지스트리, 컬렉션 포함)에서 이벤트를 관찰합니다. 자동화를 생성하는 단계와 사용 가능한 이벤트는 범위에 따라 달라집니다. 범위별 이벤트 유형은 자동화 이벤트 및 범위를 참조하세요. W&B Automations는 다음과 같은 패턴을 따릅니다. 이벤트가 발생하고 선택적으로 설정한 조건이 충족되면 액션이 자동으로 실행됩니다. 예를 들면 다음과 같습니다.

• run이 실패하면(이벤트) Slack 채널에 알림을 보냅니다(액션).
• 아티팩트에 production 별칭이 추가되면(이벤트) 웹훅을 호출하여 배포를 트리거합니다(액션).
• 새 모델 버전이 연결되면(이벤트) ARIA에 프롬프트를 보내 프로덕션 모델과 비교하게 합니다(액션).

사용할 수 있는 이벤트와 조건은 자동화의 범위가 프로젝트인지 레지스트리인지에 따라 다릅니다. 자세한 내용은 Automation events and scopes를 참조하세요. 예시: run 실패(이벤트) 및 선택적 run 이름 필터(조건) 충족 시 Slack 알림(액션). 또는 production 별칭 추가(이벤트) 시 웹훅(액션).

​

자동화를 만들 위치

• Automations hub에서: 왼쪽 내비게이션에서 Automations를 선택하면 조직, 팀, 프로젝트, 레지스트리, 컬렉션 등 모든 범위에 걸쳐 액세스 권한이 있는 자동화를 모두 확인할 수 있습니다. 범위는 자동화를 생성할 때 선택합니다. 자세한 내용은 Automations hub를 참조하세요.
• 프로젝트에서: 프로젝트를 연 다음 프로젝트 사이드바에서 Automations 탭을 선택하세요.
• 레지스트리에서: 레지스트리를 연 다음 Automations 탭을 선택하세요.

​

Automations 허브

Automations 허브는 왼쪽 내비게이션에 있는 전역 화면으로, 액세스할 수 있는 모든 자동화를 범위와 프로젝트에 관계없이 하나의 목록으로 모아 보여줍니다. 각 프로젝트나 레지스트리로 일일이 이동하지 않고도 자동화를 찾고, 살펴보고, 관리할 수 있습니다. Automations 허브에서는 다음 작업을 할 수 있습니다.

• 범위별 진입점을 미리 알 필요 없이 자동화를 생성하고 범위를 선택합니다.
• 액세스할 수 있는 모든 자동화를 하나의 목록에서 확인하고 필터링 및 정렬합니다(예: 범위, 트리거, 액션 기준).
• 자동화 이름을 클릭하여 전체 설정 세부 정보를 확인합니다.
• 자동화의 실행 이력을 확인하여 성공 또는 실패 여부를 파악합니다.
• 빠른 필터를 사용하여 내가 생성한 자동화와 조직의 모든 자동화 간에 전환합니다.
• 여러 자동화를 선택하여 한 번에 삭제합니다.

Automations 허브는 각 프로젝트와 레지스트리의 Automations 탭을 보완합니다. 범위별 탭은 특정 대상에 빠르게 액세스할 때 계속 사용할 수 있습니다.

​

사용 사례

• run 모니터링 및 알림: run이 실패하거나 메트릭이 임계값을 넘을 때 팀에 알림 받기 (예: loss가 NaN이 되거나 정확도가 떨어지는 경우).
• 레지스트리 CI/CD: 새 모델 버전이 연결되거나 별칭(예: staging 또는 production)이 추가되면 웹훅을 트리거하여 테스트하거나 배포합니다.
• 프로젝트 아티팩트 워크플로: 프로젝트에서 새 아티팩트 버전이 생성되거나 별칭이 추가되면 다운스트림 작업을 실행하거나 Slack에 게시합니다.
• 자동화된 분석: run이 실패하거나 새 모델 버전이 연결되면 ARIA에 프롬프트를 전송하여 실패를 진단하거나 새 버전을 프로덕션과 비교합니다.

전체 이벤트 및 범위 세부 정보는 자동화 이벤트 및 범위를 참조하세요.

​

자동화 작업

이벤트가 자동화를 트리거하면 다음 액션 중 하나를 수행할 수 있습니다:

• Slack 알림: 트리거를 발생시킨 이벤트의 세부 정보가 담긴 메시지를 Slack 채널로 보냅니다. 메시지는 이벤트를 요약하고 W&B에서 자세한 내용을 볼 수 있는 링크를 포함합니다.
• 웹훅: 트리거를 발생시킨 이벤트에 대한 정보가 담긴 JSON 페이로드로 웹훅 URL을 호출합니다. 웹훅을 사용하여 CI/CD 파이프라인, 모델 배포 서비스 또는 맞춤형 워크플로와 같은 외부 시스템과 통합하세요.
• ARIA 트리거: ARIA에 프롬프트를 보내면 새 대화를 시작하고 사용자를 대신해 프롬프트에 따른 작업을 수행합니다. ARIA 액션을 사용하여 새 모델 버전을 분석하거나, 실패한 run을 진단하거나, 임계값을 넘은 지표를 조사하세요. W&B Multi-tenant Cloud에서만 사용할 수 있습니다.

구현 세부 정보는 Slack 자동화 만들기, 웹훅 자동화 만들기 또는 ARIA 자동화 만들기를 참조하세요.

​

자동화 작동 방식

자동화 만들기를 하려면 다음을 수행하세요:

1. 필요한 경우, 자동화에 필요한 액세스 토큰, 비밀번호 또는 민감한 설정 세부 정보와 같은 민감한 문자열에 대한 시크릿을 설정하세요. 시크릿은 팀 설정에서 정의됩니다. 시크릿은 웹훅 자동화에서 자격 증명이나 토큰을 웹훅의 외부 서비스에 안전하게 전달하는 데 가장 일반적으로 사용되며, 일반 텍스트로 노출하거나 웹훅의 페이로드에 하드코딩하지 않습니다.
2. W&B가 Slack에 게시하거나 웹훅을 대신 실행할 수 있도록 팀 수준 웹훅 또는 Slack 인테그레이션을 설정하세요. 단일 자동화 액션(웹훅 또는 Slack 알림)은 여러 자동화에서 사용할 수 있습니다. 이러한 액션은 팀 설정에서 정의됩니다. ARIA 액션은 인테그레이션이 필요하지 않습니다.
3. 프로젝트 또는 레지스트리에서 자동화를 만드세요:
   1. 새 아티팩트 버전이 추가될 때와 같이 감시할 이벤트를 정의하세요.
   2. 이벤트가 발생할 때 수행할 액션을 정의하세요. 예를 들어 Slack 채널에 게시하거나, 웹훅을 실행하거나, ARIA에 프롬프트를 보내는 것입니다. 웹훅의 경우 필요한 경우 액세스 토큰에 사용할 시크릿 및/또는 페이로드와 함께 보낼 시크릿을 지정하세요.

​

권장 사항

• 작게 시작하세요: 중요도가 높은 이벤트(예: run 실패 또는 프로덕션 별칭 변경)에 대한 자동화 한두 개로 시작하세요. 자동화를 더 추가하기 전에 예상대로 작동하는지 검증하세요.
• 프로덕션 적용 전에 테스트하세요: 먼저 테스트 프로젝트에서, 또는 테스트용 웹훅이나 Slack 채널로 자동화를 만드세요. 이벤트를 수동으로 트리거한 다음, 액션이 실행되는지와 페이로드나 메시지가 올바르게 표시되는지 확인하세요.
• 알림 피로를 방지하세요: run 필터, 메트릭 임계값 또는 별칭 패턴을 사용하여 자동화가 실행되는 빈도를 제한하세요. 심각도 수준이 여러 개라면 수준별로 다른 채널로 보내세요.

​

제한 사항

• run 메트릭 자동화와 run 메트릭 z-점수 변경 자동화는 W&B Multi-tenant Cloud와 Dedicated Cloud에서만 지원됩니다.
• Team 및 Organization 범위에서 W&B App은 아티팩트 및 컬렉션 이벤트만 지원합니다. 이 범위에서는 App에서 run 기반 이벤트를 사용할 수 없습니다. 자세한 내용은 자동화 이벤트 및 범위를 참조하세요.

​

다음 단계

• Automations tutorial: 프로젝트 자동화를 만들어 run 실패 시 알림을 받고, 별칭이 추가될 때 웹훅을 실행하는 레지스트리 자동화를 만드는 가이드입니다. 이 튜토리얼은 W&B App을 사용합니다.
• 자동화 만들기.
• 자동화 이벤트 및 범위.
• 시크릿 만들기.