자동화 이벤트 및 범위

자동화는 지정된 범위(조직, 팀, 프로젝트, 레지스트리 또는 컬렉션) 내에서 특정 이벤트가 발생하면 시작됩니다. 이 페이지에서는 범위별로 자동화를 트리거할 수 있는 이벤트를 설명합니다. 자동화를 설정할 때 적절한 트리거를 선택하는 데 참고하세요. 자동화에 대한 자세한 내용은 Automations 개요 또는 자동화 만들기를 참조하세요. 범위는 계층 구조를 이룹니다. 조직 아래에 팀이 있고, 팀 아래에 프로젝트와 레지스트리가 있습니다. 프로젝트와 레지스트리에는 모두 컬렉션이 포함됩니다. 프로젝트에는 해당 프로젝트에 로깅된 아티팩트 컬렉션이, 레지스트리에는 아티팩트 버전이 연결된 컬렉션이 포함됩니다. 자동화는 범위 내의 모든 항목에서 이벤트를 감시하며, 여기에는 나중에 생성된 프로젝트, 레지스트리, 컬렉션도 포함됩니다. 하나의 이벤트가 여러 범위의 자동화에 해당할 수 있으며, 이 경우 해당하는 각 자동화가 독립적으로 트리거됩니다. 넓은 범위에서 트리거가 과도하게 발생하지 않도록 W&B는 자동화별로 요청 속도 제한과 대기 시간(cooldown)을 적용합니다. 이러한 보호 장치로 인해 같은 자동화가 반복해서 트리거되면 지연되거나 생략될 수 있습니다.

​

범위 레퍼런스

다음 섹션에서는 각 범위를 자세히 설명합니다.

​

조직

조직 범위를 사용하면 정책을 한 번만 정의하여 모든 곳에 적용할 수 있습니다. 예를 들어, 조직 내 어떤 아티팩트에든 production 별칭이 추가될 때마다 규정 준수용 Slack 채널로 알림을 보내도록 설정할 수 있습니다. W&B App에서는 조직 범위에서 run 기반 이벤트(run 상태 변경 및 run 메트릭 이벤트)를 사용할 수 없습니다.

​

팀

팀 하나가 소유한 모든 항목에 정책을 적용하려면 팀 범위를 사용하세요. 팀 범위 자동화는 조직 범위와 동일한 아티팩트 및 컬렉션 이벤트를 감시합니다. W&B App에서는 팀 범위에서 run 기반 이벤트를 사용할 수 없습니다.

​

레지스트리

레지스트리 자동화는 특정 레지스트리에 있는 모든 컬렉션에서 이벤트가 발생하는지 감시하며, 여기에는 향후 추가되는 컬렉션도 포함됩니다.

​

이벤트

레지스트리 자동화는 다음 이벤트를 감시할 수 있습니다.

• 새 버전이 컬렉션에 연결됨: 새 모델이나 데이터셋이 레지스트리에 추가되면 이를 테스트하고 검증합니다.
• 아티팩트 별칭이 추가됨: 새 아티팩트 버전에 특정 별칭이 적용되면 워크플로의 특정 단계를 트리거합니다. 예를 들어 모델에 production 별칭이 적용되면 해당 모델을 배포할 수 있습니다.

자동화가 웹훅을 호출할 때는 프로젝트 범위 자동화와 마찬가지로 팀 수준 웹훅 설정과 팀 시크릿에 액세스할 수 있습니다.

​

프로젝트

프로젝트 수준 자동화는 프로젝트 내 모든 컬렉션에서 발생하는 이벤트를 감시합니다. 지정한 이벤트에 따라 자동화 범위를 더 좁힐 수 있습니다.

​

아티팩트 이벤트

이 섹션에서는 자동화를 트리거할 수 있는 아티팩트 관련 이벤트를 설명합니다.

• A new version is added to an artifact: 아티팩트의 각 버전에 반복 액션을 적용합니다. 예를 들어, 새 데이터셋 아티팩트 버전이 생성되면 트레이닝 작업을 시작할 수 있습니다.
• 아티팩트 별칭이 추가됨: 프로젝트의 새 아티팩트 버전에 지정한 Alias regex와 일치하는 별칭이 적용되면 워크플로의 특정 단계를 트리거합니다. 예를 들어, 아티팩트에 test-set-quality-check 별칭이 적용되면 일련의 다운스트림 처리 단계를 실행하거나, 새 아티팩트 버전에 latest 별칭이 지정될 때마다 워크플로를 실행할 수 있습니다. 하나의 별칭은 한 번에 하나의 아티팩트 버전에만 지정할 수 있습니다.
• An artifact tag is added: 프로젝트의 아티팩트 버전에 지정한 Tag regex와 일치하는 태그가 적용되면 워크플로의 특정 단계를 트리거합니다. 예를 들어, ^europe.*를 지정하면 europe 문자열로 시작하는 태그가 아티팩트 버전에 추가될 때 특정 지역용 워크플로를 트리거할 수 있습니다. 아티팩트 태그는 그룹화와 필터링에 활용하세요. 동일한 태그를 여러 아티팩트 버전에 부여할 수 있습니다.

​

run 이벤트

다음 섹션에서는 run 상태나 run의 메트릭 값이 변경될 때 시작되는 자동화를 설정하는 방법을 설명합니다.

​

run 상태 변경

run의 상태가 Running, Finished 또는 Failed로 바뀌면 워크플로를 트리거합니다. 필요한 경우 사용자 또는 run 이름 필터를 지정해 자동화를 트리거할 수 있는 run의 범위를 더 좁힐 수도 있습니다. run 상태는 run 전체에 해당하는 속성이므로 run 상태 자동화는 workspace가 아닌 Automations 페이지에서만 만들 수 있습니다.

​

run 메트릭 변경

메트릭에 로깅된 값을 기준으로 워크플로를 트리거합니다. 대상 메트릭은 run 이력에 있는 메트릭이거나, CPU 사용량 백분율을 추적하는 cpu와 같은 시스템 메트릭일 수 있습니다. W&B는 시스템 메트릭을 15초마다 자동으로 로깅합니다. run 메트릭 자동화는 프로젝트의 Automations 탭에서 만들 수도 있고, workspace의 선형 플롯 패널에서 바로 만들 수도 있습니다. run 메트릭 자동화를 설정하려면 메트릭 값을 지정한 임계값과 어떻게 비교할지 설정하세요. 선택할 수 있는 옵션은 이벤트 유형과 지정한 필터에 따라 달라집니다. 필요한 경우 사용자 또는 run 이름 필터를 지정하여 자동화를 트리거할 수 있는 run의 범위를 더 좁힐 수 있습니다. 메트릭이 고정된 값을 넘을 때 자동화를 시작하려면 임계값 이벤트를 사용하세요. Run metrics threshold met 이벤트에서는 다음 항목을 설정하세요.

1. 평가 대상으로 삼을 가장 최근 로깅된 값의 윈도우(기본값: 5)
2. 윈도우 내에서 Average, Min, Max 중 어떤 값을 평가할지
3. 비교 방식:
   • Above
   • Above or equal to
   • Below
   • Below or equal to
   • Not equal to
   • Equal to

예를 들어 평균 accuracy가 0.6보다 클 때 자동화를 트리거할 수 있습니다. 변화 임계값 이벤트를 사용하면 최근 두 값 윈도우 사이에서 메트릭이 변할 때 자동화를 시작할 수 있습니다. Run metrics change threshold met 이벤트의 경우, 자동화는 두 개의 값 “윈도우”를 기준으로 시작 여부를 판단합니다.

• 최근 로깅된 값 중 고려할 현재 윈도우(기본값 10)
• 최근 로깅된 값 중 고려할 이전 윈도우(기본값 50)

현재 윈도우와 이전 윈도우는 연속되며 서로 겹치지 않습니다. 자동화를 생성하려면 다음 항목을 설정하세요.

1. 로깅된 값의 현재 윈도우(기본값 10)
2. 로깅된 값의 이전 윈도우(기본값 50)
3. 값을 상대값과 절대값 중 어느 것으로 평가할지 여부(기본값 Relative)
4. 수행할 비교:
   • 최소 지정한 값만큼 증가
   • 최소 지정한 값만큼 감소
   • 최소 지정한 값만큼 증가 또는 감소

예를 들어, 평균 loss가 0.25 이상 감소하면 자동화가 트리거되도록 설정할 수 있습니다.

​

Run 메트릭 z-점수 변화

W&B는 메트릭의 z-점수(표준 점수)가 지정한 임계값을 초과하면 자동화를 트리거할 수 있습니다. z-점수는 프로젝트 내 run으로 구성된 윈도우(설정 가능, 기본값 run 30개)에서 해당 메트릭 값이 평균으로부터 표준 편차의 몇 배만큼 떨어져 있는지를 나타냅니다. z-점수를 이벤트 트리거로 사용하려면 Run metrics z-score threshold met 이벤트를 선택하세요. z-점수 기반 자동화를 사용하면 절대 임계값을 확인하지 않고도 비정상적인 성능을 팀에 알릴 수 있습니다. 절대 임계값은 모델이나 트레이닝 프로세스가 개선됨에 따라 달라질 수 있기 때문입니다. run 메트릭 z-점수 자동화는 프로젝트의 Automations 탭에서 만들거나 workspace의 선형 플롯 패널에서 바로 만들 수 있습니다. z-점수 자동화를 만들려면 다음 항목을 설정하세요.

1. 목표 z-점수 임계값. 양의 부동 소수점 값으로 지정합니다(예: 2.0).
2. 평균값을 계산하는 데 사용할 로깅된 값의 윈도우(기본값 30).
3. 비교 방식:
   • Above(성능이 비정상적으로 높을 때 트리거).
   • Below(성능이 비정상적으로 낮을 때 트리거).
   • Either above or below.

예를 들어 accuracy의 z-점수가 2를 초과할 때 자동화를 트리거할 수 있습니다. 이는 해당 run이 프로젝트의 다른 run보다 훨씬 뛰어난 성능을 보이고 있다는 뜻입니다. z-점수 값의 의미는 다음과 같습니다.

• z-점수 0은 메트릭이 평균값과 같다는 뜻입니다.
• z-점수 +2.0은 메트릭이 평균보다 표준 편차의 2배만큼 높다는 뜻입니다.
• z-점수 -2.0은 메트릭이 평균보다 표준 편차의 2배만큼 낮다는 뜻입니다.
• ±2를 벗어나는 값은 일반적으로 통계적으로 유의미한 이상값으로 간주됩니다.

​

run 필터

이 섹션에서는 자동화가 평가할 run을 선택하는 방식을 설명합니다. 기본적으로 이벤트가 발생하면 프로젝트의 모든 run이 자동화를 트리거합니다. 다음 필터 중 하나를 설정하면 자동화를 트리거하는 run을 제한할 수 있습니다. 자동화는 각 run을 다음과 같이 평가합니다.

• 각 run은 개별적으로 평가되며, 모든 run이 자동화를 트리거할 수 있습니다.
• 각 run의 값은 별도의 윈도우에 담겨 임계값과 따로 비교됩니다.
• 특정 자동화는 24시간 동안 run당 최대 한 번만 실행됩니다.

자세한 내용은 자동화 만들기를 참조하세요.

​

다음 단계

• Slack 자동화 만들기
• 웹훅 자동화 만들기