オートメーションのイベントとスコープ

​

スコープ参照

​

組織

​

チーム

​

Registry

​

イベント

• コレクションに新しいバージョンがリンクされた場合: Registry に追加された新しいモデルやデータセットをテストおよび検証します。
• アーティファクトのエイリアスが追加された場合: 新しいアーティファクトのバージョンに特定のエイリアスが適用されたときに、ワークフローの特定のステップをトリガーします。たとえば、production エイリアスが適用されたときにモデルをデプロイします。

​

project

​

アーティファクトのイベント

• アーティファクトに新しいバージョンが追加された場合: アーティファクトの各バージョンに対して繰り返しの action を適用します。たとえば、新しいデータセット アーティファクトのバージョンが作成されたときにトレーニング ジョブを開始します。
• アーティファクトのエイリアスが追加された場合: project 内の新しいアーティファクトのバージョンに、指定した エイリアス regex に一致するエイリアスが適用されたときに、ワークフローの特定のステップをトリガーします。たとえば、アーティファクトに test-set-quality-check エイリアスが適用されたとき、または新しいアーティファクトのバージョンに latest エイリアスが適用されるたびに、一連の下流処理ステップを実行します。同じエイリアスを一度に持てるアーティファクトのバージョンは 1 つだけです。
• アーティファクトのタグが追加された場合: project 内のアーティファクトのバージョンに、指定した Tag regex に一致するタグが適用されたときに、ワークフローの特定のステップをトリガーします。たとえば、^europe.* を指定して、タグが文字列 europe で始まるものがアーティファクトのバージョンに追加されたときに、地理固有の ワークフローをトリガーします。グループ化とフィルターにアーティファクトのタグを使用します。同じタグを複数のアーティファクトのバージョンに assign できます。

​

run イベント

​

run ステータスの変更

​

run のメトリクスの変化

1. 評価対象となる、直近のログされた値のウィンドウ (デフォルトは 5) 。
2. ウィンドウ内の Average、Min、Max のどれを評価するか。
3. 比較条件：
   • Above
   • Above or equal to
   • Below
   • Below or equal to
   • Not equal to
   • Equal to

• 考慮する最近ログされた値の_現在のウィンドウ_ (デフォルトは 10) 。
• 考慮する最近ログされた値の_前のウィンドウ_ (デフォルトは 50) 。

1. ログされた値の現在のウィンドウ (デフォルトは 10) 。
2. ログされた値の前のウィンドウ (デフォルトは 50) 。
3. 値を相対または絶対として評価するかどうか (デフォルトは Relative) 。
4. 実行する比較：
   • 少なくとも増加
   • 少なくとも減少
   • 少なくとも増加または減少

​

runのメトリクスのzスコアの変化

1. zスコアのしきい値。正の浮動小数点数で指定します (例: 2.0) 。
2. 平均値の算出に使用するログされた値のウィンドウ (デフォルトは30件) 。
3. 比較条件:
   • 上回る (パフォーマンスが通常より著しく高い場合にトリガー) 。
   • 下回る (パフォーマンスが通常より著しく低い場合にトリガー) 。
   • 上回る、または下回る。

• zスコアが0の場合、そのメトリクスの値は平均と等しくなります。
• zスコアが+2.0の場合、そのメトリクスの値は平均より標準偏差2個分高いことを示します。
• zスコアが-2.0の場合、そのメトリクスの値は平均より標準偏差2個分低いことを示します。
• ±2を超える値は、統計的に有意な外れ値とみなされることがよくあります。

​

run フィルター

• 各 run は個別に考慮され、オートメーションをトリガーする可能性があります。
• 各 run の値は別々のウィンドウに配置され、しきい値と個別に比較されます。
• 24 時間以内に、特定のオートメーションは 1 つの run につき最大 1 回しか起動できません。

​

サンドボックスイベント

​

サンドボックスのステータス変更

• サンドボックスが project に属している: サンドボックスは、Weights & Biases の設定で指定された entity と project に属します。この設定には、WANDB_ENTITY や WANDB_PROJECT 環境変数などがあります。project を設定しない場合、サンドボックスはデフォルトの entity 内の sandbox という名前の project に属します。
• サンドボックスが Forge API キーを使用している: サンドボックスまたはセッションの作成時に auth=AuthStrategy.WANDB を渡します。CoreWeave API アクセストークンで作成したサンドボックスでは、オートメーションは起動しません。詳細については、認証を選択するを参照してください。
• サンドボックスの作成者が project にアクセスできる: オートメーションは、サンドボックスを作成したユーザーとして実行されます。イベント発生時にそのユーザーが project にアクセスできなくなっている場合、オートメーションは起動しません。

{
  "text": "Sandbox ${sandbox_id} ${sandbox_state} in ${entity_name}/${project_name}: ${sandbox_reason}",
  "creator": "${sandbox_creator}",
  "tags": "${sandbox_tags}"
}

• サンドボックス ID
• 状態
• ステータス
• 作成者
• project

• サンドボックス ID
• 状態
• 理由
• project

​

次のステップ

• Slack オートメーションを作成する
• webhook オートメーションを作成する