チームおよび組織のスコープは、W&B Multi-tenant Cloud および W&B 専用クラウド (Server v0.83.0 以降) で利用できます。Registry および project のスコープは、すべてのデプロイメントタイプで利用できます。
スコープ参照
以下のセクションで各スコープについて詳しく説明します。
組織
組織スコープを使用して、ポリシーを一度定義し、どこにでも適用できます。たとえば、組織内の任意のアーティファクトにproduction エイリアスが追加されたときに、コンプライアンスの Slack チャンネルに通知します。
run ベースのイベント (run ステータスの変更 および run メトリクスの変更 イベント) は、W&B アプリの組織スコープでは利用できません。
チーム
チームスコープを使用して、1つのチームが所有するすべてにポリシーを適用します。チームスコープのオートメーションは、組織スコープと同じアーティファクトとコレクションのイベントを監視します。run ベースのイベントは、W&B アプリのチームスコープでは利用できません。Registry
Registry のオートメーションは、特定の registry 内の任意のコレクション (将来追加されるコレクションを含む) で発生するイベントを監視します。イベント
Registry のオートメーションは、以下のイベントを監視できます。- コレクションに新しいバージョンがリンクされた場合: Registry に追加された新しいモデルやデータセットをテストおよび検証します。
- アーティファクトのエイリアスが追加された場合: 新しいアーティファクトのバージョンに特定のエイリアスが適用されたときに、ワークフローの特定のステップをトリガーします。たとえば、
productionエイリアスが適用されたときにモデルをデプロイします。
project
project レベルのオートメーションは、project 内のいずれかのコレクションで発生するイベントを監視します。指定するイベントに応じて、オートメーションの適用範囲をさらに制限できます。アーティファクトのイベント
このセクションでは、アーティファクトに関連するイベントについて説明します。これらのイベントはオートメーションをトリガーできます。- アーティファクトに新しいバージョンが追加された場合: アーティファクトの各バージョンに対して繰り返しの action を適用します。たとえば、新しいデータセット アーティファクトのバージョンが作成されたときにトレーニング ジョブを開始します。
- アーティファクトのエイリアスが追加された場合: project 内の新しいアーティファクトのバージョンに、指定した エイリアス regex に一致するエイリアスが適用されたときに、ワークフローの特定のステップをトリガーします。たとえば、アーティファクトに
test-set-quality-checkエイリアスが適用されたとき、または新しいアーティファクトのバージョンにlatestエイリアスが適用されるたびに、一連の下流処理ステップを実行します。同じエイリアスを一度に持てるアーティファクトのバージョンは 1 つだけです。 - アーティファクトのタグが追加された場合: project 内のアーティファクトのバージョンに、指定した Tag regex に一致するタグが適用されたときに、ワークフローの特定のステップをトリガーします。たとえば、
^europe.*を指定して、タグが文字列europeで始まるものがアーティファクトのバージョンに追加されたときに、地理固有の ワークフローをトリガーします。グループ化とフィルターにアーティファクトのタグを使用します。同じタグを複数のアーティファクトのバージョンに assign できます。
run イベント
以下のセクションでは、run のステータスの変更、または run のメトリクス値の変更に基づいて開始するオートメーションの設定方法を説明します。run ステータスの変更
- 現在は W&B Multi-tenant Cloud と 専用クラウド でのみ利用できます。
- Killed ステータスの run はオートメーションをトリガーできません。このステータスは、管理者が run を強制的に停止したことを示します。
run のメトリクスの変化
現在は W&B Multi-tenant Cloud と 専用クラウド でのみ利用できます。
cpu などのシステムメトリクスについて、ログされた値に基づいてワークフローをトリガーします。W&B はシステムメトリクスを 15 秒ごとに自動的にログします。
run のメトリクスに関するオートメーションは、project の オートメーション タブ、または Workspace のラインプロットパネルから直接作成できます。
run のメトリクスに関するオートメーションを設定するには、メトリクスの値と指定したしきい値を比較する方法を設定します。選択できる方法は、イベントのタイプと指定したフィルターによって異なります。
必要に応じて、ユーザーまたは run 名のフィルターを指定し、オートメーションをトリガーできる run をさらに絞り込めます。
メトリクスが固定値を超えたときにオートメーションを開始するには、しきい値イベントを使用します。Run metrics threshold met イベントでは、次を設定します。
- 評価対象となる、直近のログされた値のウィンドウ (デフォルトは 5) 。
- ウィンドウ内の Average、Min、Max のどれを評価するか。
- 比較条件：
- Above
- Above or equal to
- Below
- Below or equal to
- Not equal to
- Equal to
accuracy の平均値が 0.6 より大きいときにオートメーションを起動します。
- 考慮する最近ログされた値の_現在のウィンドウ_ (デフォルトは 10) 。
- 考慮する最近ログされた値の_前のウィンドウ_ (デフォルトは 50) 。
- ログされた値の現在のウィンドウ (デフォルトは 10) 。
- ログされた値の前のウィンドウ (デフォルトは 50) 。
- 値を相対または絶対として評価するかどうか (デフォルトは Relative) 。
- 実行する比較：
- 少なくとも増加
- 少なくとも減少
- 少なくとも増加または減少
loss が少なくとも 0.25 減少したときにオートメーションをトリガーします。
runのメトリクスのzスコアの変化
現在は W&B Multi-tenant Cloud と 専用クラウド でのみ利用できます。
- zスコアのしきい値。正の浮動小数点数で指定します (例: 2.0) 。
- 平均値の算出に使用するログされた値のウィンドウ (デフォルトは30件) 。
- 比較条件:
- 上回る (パフォーマンスが通常より著しく高い場合にトリガー) 。
- 下回る (パフォーマンスが通常より著しく低い場合にトリガー) 。
- 上回る、または下回る。
accuracyのzスコアが2を超えたときにオートメーションをトリガーできます。これは、そのrunのパフォーマンスがproject内のほかのrunを大きく上回っていることを意味します。
zスコアの値には、次の意味があります。
- zスコアが0の場合、そのメトリクスの値は平均と等しくなります。
- zスコアが+2.0の場合、そのメトリクスの値は平均より標準偏差2個分高いことを示します。
- zスコアが-2.0の場合、そのメトリクスの値は平均より標準偏差2個分低いことを示します。
- ±2を超える値は、統計的に有意な外れ値とみなされることがよくあります。
run フィルター
このセクションでは、オートメーションが評価対象の run をどのように選択するかを説明します。 デフォルトでは、project 内の任意の run がイベント発生時にオートメーションをトリガーします。以下のフィルターのいずれかを設定することで、どの run がオートメーションをトリガーするかを制限できます。
オートメーションは各 run を次のように評価します。
- 各 run は個別に考慮され、オートメーションをトリガーする可能性があります。
- 各 run の値は別々のウィンドウに配置され、しきい値と個別に比較されます。
- 24 時間以内に、特定のオートメーションは 1 つの run につき最大 1 回しか起動できません。