チームスコープおよび組織スコープのオートメーションと Automations ハブは、W&B Multi-tenant Cloud および W&B 専用クラウド (Server v0.83.0 以降) で利用できます。
- run が失敗したら (イベント)、Slack チャンネルに通知する (action)。
- アーティファクトに
productionエイリアスが追加されたら (イベント)、webhook を呼び出してデプロイメントをトリガーする (action)。 - 新しいモデルバージョンがリンクされたら (イベント)、ARIA にプロンプトを送信し、本番のモデルと比較させる (action)。
production が追加された (イベント) の場合、webhook (action)。
オートメーションを作成する場所
- Automations ハブで確認する: 左側のナビゲーションで Automations を選択すると、組織、チーム、project、registry、コレクションのすべてのスコープにわたって、アクセス可能なすべてのオートメーションを確認できます。スコープはオートメーションの作成時に選択します。詳しくは Automations ハブ を参照してください。
- project で確認する: project を開き、プロジェクトのサイドバーで Automations タブを選択します。
- registry で確認する: registry を開き、Automations タブを選択します。
Automations ハブ
Automations ハブは左側のナビゲーションにあるグローバルな画面で、すべてのスコープと project にわたって、アクセス可能なすべてのオートメーションを単一のリストに集約します。各 project や Registry に移動することなく、オートメーションを検索、確認、管理するために使用します。 Automations ハブでは、次のことができます。- スコープ固有のエントリポイントを事前に把握しなくても、オートメーションを作成してスコープを選択できます。
- アクセス可能なすべてのオートメーションを単一のリストで表示し、フィルターや並べ替えを適用できます (たとえば、スコープ、トリガー、action 別)。
- オートメーション名をクリックして、設定の詳細をすべて表示できます。
- オートメーションの実行履歴を表示して、成功したか失敗したかを確認できます。
- クイックフィルターを使用して、自分が作成したオートメーションと組織内のすべてのオートメーションを切り替えられます。
- 複数のオートメーションを選択して、一括削除できます。
ユースケース
- run のモニタリングとアラート: run が失敗したとき、またはメトリクスがしきい値を超えたとき (例: 損失が NaN になる、または精度が低下する) にチームに通知します。
- Registry CI/CD: 新しいモデルバージョンがリンクされたとき、またはalias (
stagingやproductionなど) が追加されたときに、webhook をトリガーしてテストを実行したりデプロイしたりします。 - project のアーティファクトワークフロー: project で新しいアーティファクトのバージョンが作成されたとき、またはaliasが追加されたときに、下流のジョブを実行したり Slack に投稿したりします。
- 自動分析: run が失敗したとき、または新しいモデルバージョンがリンクされたときに、ARIA にプロンプトを送信して失敗を診断したり、新しいバージョンを本番と比較したりします。
オートメーションの action
イベントによってオートメーションがトリガーされると、次のいずれかの action を実行できます。- Slack 通知: トリガーとなったイベントの詳細を記載したメッセージを Slack チャンネルに送信します。メッセージにはイベントの概要と、W&B で詳細を確認するためのリンクが含まれます。
- Webhook: トリガーとなったイベントの情報を含む JSON ペイロードを付けて、webhook URL を呼び出します。webhook を使用すると、CI/CD パイプライン、モデルのデプロイメントサービス、カスタムワークフローなどの外部システムと統合できます。
- Trigger ARIA: ARIA にプロンプトを送信します。ARIA は新しい会話を開始し、ユーザーに代わってプロンプトの内容を実行します。ARIA の action を使用すると、新しいモデルバージョンの分析、失敗した run の原因診断、しきい値を超えたメトリクスの調査などを行えます。W&B Multi-tenant Cloud でのみ利用できます。
オートメーションの仕組み
オートメーションを作成するには、次の手順を実行します。- 必要に応じて、アクセストークン、パスワード、機密性の高い設定情報など、オートメーションに必要な機密文字列用のシークレットを設定します。シークレットは チーム設定 で定義します。シークレットは主に webhook オートメーションで使用され、認証情報やトークンを平文で公開したり webhook のペイロードにハードコードしたりすることなく、webhook の外部サービスに安全に渡すことができます。
- チームレベルの webhook または Slack インテグレーションを設定し、W&B がユーザーに代わって Slack に投稿したり webhook を実行したりできるように承認します。1 つのオートメーション action (webhook または Slack 通知) は、複数のオートメーションで使用できます。これらの action は チーム設定 で定義します。ARIA action にはインテグレーションは不要です。
- project または Registry で、オートメーションを作成します。
- 新しいアーティファクトのバージョンが追加されたときなど、監視するイベントを定義します。
- Slack チャンネルへの投稿、webhook の実行、ARIA へのプロンプト送信など、イベント発生時に実行する action を定義します。webhook の場合は、必要に応じて、アクセストークンに使用するシークレットやペイロードとともに送信するシークレットを指定します。
推奨事項
- 小規模から始める: まずは重要度の高いイベント (run の失敗や本番エイリアスの変更など) を対象に、1 つか 2 つのオートメーションから始めます。期待どおりに動作することを確認してから、追加してください。
- 本番前にテストする: まずはテスト用の project、またはテスト用の webhook や Slack チャンネルでオートメーションを作成します。イベントを手動でトリガーし、action が実行されること、およびペイロードやメッセージの内容が正しいことを確認してください。
- アラート疲れを防ぐ: run のフィルター、メトリクスのしきい値、またはエイリアスのパターンを使用して、オートメーションが発火する頻度を抑えます。複数の重大度を設定している場合は、重大度ごとに異なるチャンネルに振り分けてください。
制限事項
- run メトリクスのオートメーションと run メトリクスの z-score 変化のオートメーションは、W&B Multi-tenant Cloud と専用クラウドでのみサポートされます。
- Team および Organization スコープでは、W&B アプリはアーティファクトとコレクションのイベントのみをサポートします。これらのスコープでは、アプリで run ベースのイベントを利用できません。オートメーションのイベントとスコープを参照してください。
次のステップ
- オートメーションのチュートリアル: project のオートメーションを作成して run の失敗を通知し、alias が追加されたときに webhook を実行する Registry のオートメーションを作成する方法を説明します。このチュートリアルでは W&B アプリ を使用します。
- オートメーションを作成する.
- オートメーションのイベントとスコープ.
- シークレットを作成する.
オートメーションの関連チュートリアルをお探しですか？