- しきい値アラート: モニターの平均スコアがしきい値を超えたときに Slack 通知を送信します。
- リグレッション検出: Scorer が精度の低下や有害性の上昇を検出したときにアラートを送信します。
- デプロイメントのゲート: ローリングウィンドウにおいて品質メトリクスが信頼度のしきい値を超えたときに webhook をトリガーします。
- 運用モニタリング: エラー率やレイテンシーのメトリクスが変化したときにアラートを送信します。
オートメーションを作成する
オートメーションを作成するには、トリガーとなるイベントを設定し、実行する action を選択します。前提条件
オートメーションを作成する前に、オートメーションで接続するトリガーイベント (Op やモニターなど) と action (Slack インテグレーションなど) を用意しておく必要があります。- Weave で、対象となる Op または モニター を設定します。
- チーム設定で、Slack インテグレーション または webhook を設定します。
イベントを設定する
イベントの設定では、オートメーションをトリガーする条件を定義します。モニターのメトリクス、時間ウィンドウ、しきい値を選択します。 オートメーションを作成するには、次の手順を実行します。- Forge にアクセスし、対象の project を開きます。
- プロジェクトのサイドバーで Automations をクリックします。
- Automations ページのヘッダーで Create automation をクリックします。
- Create automation ダイアログで、イベントを設定します。
- Event: このオートメーションをトリガーするイベントのタイプ (Weave のメトリクスのしきい値など) を選択します。
- Source: オートメーションのソースとして、project 内の Operation または Monitor のいずれかを選択します。
- Operation: モニターの評価対象となるトレースの Op name を選択します。リストには、project 内で 1 つ以上のトレースをログした Op が表示されます。
- Monitor: トラッキングするメトリクスを生成する Monitor を選択します。
- Metric: アラートの測定対象とするメトリクスを選択します。
- Metric Threshold: オートメーションをトリガーする条件を定義します。比較演算子 (“is above” など) を選択し、しきい値 (
0.9など) を指定します。 - Window: オートメーションのトリガーに使用するウィンドウとして、Time-based または Count-based のいずれかを設定します。集約関数 (Average など) とローリング期間 (1 day など) を選択します。
- Aggregation: しきい値と比較する前にウィンドウ内のメトリクス値に適用する集約関数 (平均値、中央値、最小値など) を設定します。
- Alert preview グラフで、しきい値に基づくアラートが想定どおりに発生することを確認します。
- Next step をクリックして、action の設定に進みます。
action を設定する
action の設定では、イベントが条件を満たしたときに実行する action を定義します。 action を設定するには:- Step 2 of 3 パネルで、次の項目を設定します。
- Team: 通知を受け取るチームを選択します。
- Action type: 実行する action のタイプ (Slack notification の送信など) を選択します。
- Action details: action のタイプに応じて、必要な設定を指定します。
- Slack 通知の場合は、通知の送信先となる Slack channel を選択します。
- webhook の場合は、Webhook 名と Payload を指定します。
- Next step をクリックして、概要に進みます。
確認と保存
概要ステップでは、保存前にオートメーションの全体像を確認できます。 保存するには、次の手順を実行します。- オートメーションのメタデータを設定します。
- Automation name: Automations 表に表示されるオートメーション名を入力します。
- Description (オプション): オートメーションの目的がわかるように説明を追加します。
- Create automation をクリックしてオートメーションを作成します。
モニターからオートメーションを作成する
モニターの詳細ビューから直接オートメーションを作成することもできます。この方法では、イベントの設定にモニターのコンテキストが事前入力されるため、設定をすばやく行えます。オートメーションを作成する前に、action として使用する Slack インテグレーションまたは webhook を設定しておいてください。 モニターからオートメーションを作成するには:- Weave プロジェクトのサイドバーで、Monitors をクリックします。
- Monitors 表でモニター名をクリックし、詳細パネルを開きます。
- モニターの詳細パネルで Automations タブを選択すると、このモニターの既存のオートメーションが表示されます。
- Automations セクションのツールバーで、Create automation をクリックします。
- Create automation パネルでは、選択したモニターの詳細がイベントの設定に事前入力されています。必要に応じて設定を調整します:
- Metric: アラートの測定対象とするメトリクスを選択します。
- Metric Threshold: オートメーションをトリガーする条件を定義します。比較演算子 (“is above” など) を選択し、しきい値 (
0.9など) を入力します。 - Window: オートメーションのトリガーに使用するウィンドウを、Time-based または Count-based に設定します。集約関数 (Average など) とローリング期間 (1 day など) を選択します。
- Aggregation: しきい値と比較する前に、ウィンドウ内のメトリクス値に適用する集約関数 (平均値、中央値、最小値など) を設定します。
- Next をクリックし、オートメーションを作成するの説明に従って、残りのステップ (action の選択と保存) を完了します。
オートメーションの表示と管理
Automations ページには、project 内のすべてのオートメーションが一覧表示されます。表には、各オートメーションについて次の情報が表示されます。- Automation: オートメーション名と説明。
- Event type: オートメーションをトリガーするイベントのタイプ。
- Action type: オートメーションがトリガーする action (Slack 通知の生成など) 。
- Date created: オートメーションを作成した日時。
- Last execution: オートメーションが最後にトリガーされた日時。
- Weave プロジェクトのサイドバーで、Automations をクリックします。
- 表のツールバーにある検索フィールドを使用して、オートメーションを名前でフィルターします。