- 임계값 알림: 모니터의 평균 점수가 임계값을 넘으면 Slack 알림을 보냅니다.
- 회귀 감지: Scorer가 정확도 하락이나 유해성 증가를 감지하면 알림을 보냅니다.
- 배포 게이트: 롤링 윈도우 동안 품질 메트릭이 신뢰도 임계값을 초과하면 웹훅을 트리거합니다.
- 운영 모니터링: 오류율이나 지연 시간 메트릭이 변하면 알림을 보냅니다.
자동화 생성
트리거 이벤트를 설정하고 수행할 액션을 선택하여 자동화를 생성하세요.사전 요구 사항
이벤트와 액션을 연결하는 자동화를 생성하려면 먼저 트리거 이벤트(예: Op 또는 모니터)와 액션(예: Slack 인테그레이션)이 있어야 합니다.- Weave에서 원하는 Op 또는 모니터를 설정하세요.
- 팀 설정에서 Slack 인테그레이션 또는 웹훅을 설정하세요.
이벤트 설정하기
이벤트 설정은 자동화를 트리거하는 조건을 정의합니다. 모니터 메트릭, 시간 윈도우, 임계값을 선택합니다. 자동화를 만들려면 다음 단계를 따르세요.- Forge로 이동하여 프로젝트를 여세요.
- 프로젝트 사이드바에서 Automations를 클릭하세요.
- Automations 페이지 헤더에서 자동화 만들기를 클릭하세요.
- 자동화 만들기 대화 상자에서 이벤트를 설정하세요.
- Event: 이 자동화를 트리거하는 이벤트 유형(예: Weave 메트릭 임계값)을 선택하세요.
- Source: 자동화 소스로 프로젝트의 Operation 또는 Monitor 중 하나를 선택하세요.
- Operation: 모니터가 트레이스를 평가할 Op name을 선택하세요. 목록에는 프로젝트에서 트레이스를 하나 이상 로깅한 Op가 표시됩니다.
- Monitor: 추적하려는 메트릭을 생성하는 Monitor를 선택하세요.
- Metric: 알림 기준으로 측정할 메트릭을 선택하세요.
- Metric Threshold: 자동화를 트리거하는 조건을 정의하세요. 비교 연산자(예: “is above”)를 선택하고 임계값(예:
0.9)을 입력하세요. - Window: 자동화 트리거에 사용할 윈도우를 Time-based 또는 Count-based로 설정하세요. 집계 함수(예: Average)와 롤링 기간(예: 1 day)을 선택하세요.
- Aggregation: 임계값과 비교하기 전에 윈도우 내 메트릭 값에 적용할 집계 함수(예: 평균, 중앙값, 최소)를 설정하세요.
- Alert preview 그래프를 검토하여 설정한 임계값에 따라 알림이 예상대로 발생하는지 확인하세요.
- Next step을 클릭하여 액션 설정 단계로 진행하세요.
액션 설정하기
액션 설정은 이벤트가 조건을 충족할 때 실행할 액션을 정의합니다. 액션을 설정하려면 다음 단계를 따르세요.- Step 2 of 3 패널에서 다음 항목을 설정하세요.
- Team: 알림을 받을 팀을 선택하세요.
- Action type: 수행할 액션의 유형을 선택하세요(예: Slack notification 전송).
- Action details: 액션 유형에 따라 필요한 설정을 입력하세요.
- Slack 알림의 경우 알림을 보낼 Slack channel을 선택하세요.
- 웹훅의 경우 Webhook 이름과 Payload를 입력하세요.
- Next step을 클릭하여 요약 단계로 이동하세요.
검토 및 저장
요약 단계에서는 저장하기 전에 자동화의 전체 개요를 확인할 수 있습니다. 저장하려면 다음 단계를 따르세요.- 자동화 메타데이터를 설정하세요.
- Automation name: Automations table에 표시될 자동화 이름을 입력하세요.
- Description (선택): 자동화의 목적을 파악하는 데 도움이 되는 설명을 추가하세요.
- 자동화 만들기를 클릭하여 자동화를 만드세요.
Create an automation from a monitor
모니터의 세부 정보 뷰에서 직접 자동화를 만들 수도 있습니다. 이 방법을 사용하면 모니터의 정보가 이벤트 설정에 미리 채워지므로 더 빠르게 설정할 수 있습니다. 자동화를 만들기 전에 액션으로 사용할 Slack 인테그레이션 또는 웹훅을 설정하세요. 모니터에서 자동화를 만들려면 다음 단계를 따르세요.- Weave 프로젝트 사이드바에서 Monitors를 클릭합니다.
- Monitors table에서 모니터 이름을 클릭하여 세부 정보 패널을 엽니다.
- 모니터 세부 정보 패널에서 Automations 탭을 선택하면 이 모니터에 설정된 기존 자동화를 확인할 수 있습니다.
- Automations 섹션 툴바에서 자동화 만들기를 클릭합니다.
- 자동화 만들기 패널에는 선택한 모니터의 세부 정보가 이벤트 설정에 미리 채워져 있습니다. 필요에 따라 설정을 조정합니다.
- Metric: 알림 기준으로 측정할 메트릭을 선택합니다.
- Metric Threshold: 자동화를 트리거할 조건을 정의합니다. 비교 연산자(예: “is above”)를 선택하고 임계값(예:
0.9)을 입력합니다. - Window: 자동화 트리거에 사용할 윈도우를 Time-based 또는 Count-based로 설정합니다. 집계 함수(예: Average)와 롤링 기간(예: 1 day)을 선택합니다.
- Aggregation: 임계값과 비교하기 전에 윈도우 내 메트릭 값에 적용할 집계 함수(예: 평균, 중앙값, 최소)를 설정합니다.
- Next를 클릭하고 Create an automation의 설명에 따라 나머지 단계(액션 선택 및 저장)를 완료합니다.
자동화 보기 및 관리
Automations 페이지에는 프로젝트의 모든 자동화가 나열됩니다. table에는 각 자동화에 대해 다음 정보가 표시됩니다.- Automation: 자동화 이름과 설명입니다.
- Event type: 자동화를 트리거하는 이벤트의 유형입니다.
- Action type: 자동화가 트리거하는 액션입니다(예: Slack 알림 생성).
- Date created: 자동화를 생성한 시점입니다.
- Last execution: 자동화가 마지막으로 트리거된 시점입니다.
- Weave 프로젝트 사이드바에서 Automations를 클릭하세요.
- table 툴바의 검색 필드에서 이름으로 자동화를 필터링하세요.