Événements et portée des automatisations

Une automatisation démarre lorsqu’un événement précis se produit dans une portée donnée : une organisation, une équipe, un projet, un registre ou une collection. Cette page décrit les événements qui peuvent déclencher une automatisation dans chaque portée, afin de vous aider à choisir le déclencheur approprié lors de la configuration d’une automatisation. Pour en savoir plus sur les automatisations, consultez l’Aperçu des Automatisations ou Créer une automatisation. Les portées sont hiérarchiques : une organisation contient des équipes, qui elles-mêmes contiennent des projets et des registres. Les projets comme les registres contiennent des collections : un projet contient les collections d’artifacts qui y sont journalisées, et un registre contient les collections auxquelles des versions d’artifact sont liées. Une automatisation surveille son événement dans l’ensemble de sa portée, y compris dans les projets, registres et collections créés ultérieurement. Un même événement peut correspondre à des automatisations de plusieurs portées. Chaque automatisation correspondante se déclenche alors indépendamment. Pour éviter les déclenchements excessifs dans les portées étendues, W&B applique à chaque automatisation une limite de débit et un délai de récupération. Ces garde-fous peuvent retarder, voire ignorer, les déclenchements répétés d’une même automatisation.

​

Référence des portées

Les sections suivantes décrivent chaque portée plus en détail.

​

Organisation

Utilisez la portée à l’échelle de l’organisation pour définir une politique une seule fois et l’appliquer partout. Par exemple, envoyez une notification à un canal Slack dédié à la conformité chaque fois que l’alias production est ajouté à n’importe quel artifact de l’organisation. Les événements basés sur les runs (les événements changement de statut du run et métrique de run) ne sont pas disponibles à l’échelle de l’organisation dans la W&B App.

​

Équipe

Utilisez la portée Équipe pour appliquer une politique à l’ensemble des ressources appartenant à une équipe. Une automatisation limitée à une équipe surveille les mêmes événements d’artifact et de collection qu’à l’échelle de l’organisation. Dans la W&B App, les événements basés sur les runs ne sont pas disponibles pour la portée Équipe.

​

Registre

Une automatisation de registre surveille la survenue de l’événement sur toute collection d’un registre donné, y compris les collections ajoutées ultérieurement.

​

Événements

Une automatisation de registre peut surveiller les événements suivants :

• Une nouvelle version est liée à une collection : testez et validez les nouveaux modèles ou jeux de données dès leur ajout à un registre.
• Un alias d’artifact est ajouté : déclenchez une étape précise de votre flux de travail lorsqu’un alias donné est appliqué à une nouvelle version d’artifact. Par exemple, déployez un modèle dès que l’alias production lui est appliqué.

Lorsque l’automatisation appelle un webhook, elle a accès aux mêmes configurations de webhook d’équipe et aux mêmes secrets d’équipe que les automatisations limitées à un projet.

​

Projet

Une automatisation au niveau du projet surveille la survenue de l’événement sur n’importe quelle collection du projet. Selon l’événement choisi, vous pouvez restreindre davantage la portée de l’automatisation.

​

Événements d’artifact

Cette section décrit les événements liés à un artifact qui peuvent déclencher une automatisation.

• A new version is added to an artifact : appliquez des actions récurrentes à chaque version d’un artifact. Par exemple, lancez une tâche d’entraînement lorsqu’une nouvelle version d’artifact de jeu de données est créée.
• Un alias d’artifact est ajouté : déclenchez une étape précise de votre flux de travail lorsqu’un alias correspondant à la Alias regex que vous indiquez est appliqué à une nouvelle version d’artifact d’un projet. Par exemple, exécutez une série d’étapes de traitement en aval lorsque l’alias test-set-quality-check est appliqué à un artifact, ou exécutez un flux de travail chaque fois qu’une nouvelle version d’artifact reçoit l’alias latest. Un alias donné ne peut être attribué qu’à une seule version d’artifact à la fois.
• An artifact tag is added : déclenchez une étape précise de votre flux de travail lorsqu’un tag correspondant à la Tag regex que vous indiquez est appliqué à une version d’artifact d’un projet. Par exemple, indiquez ^europe.* pour déclencher un flux de travail propre à une zone géographique lorsqu’un tag commençant par la chaîne europe est ajouté à une version d’artifact. Utilisez les tags d’artifact pour regrouper et filtrer. Vous pouvez attribuer le même tag à plusieurs versions d’artifact.

​

Événements de run

Les sections suivantes décrivent comment configurer une automatisation qui se déclenche lors d’une modification du statut d’un run ou de la valeur d’une métrique d’un run.

​

Changement de statut d’un run

Déclenchez un flux de travail lorsqu’un run passe au statut Running, Finished ou Failed. Vous pouvez aussi, si vous le souhaitez, restreindre davantage les runs susceptibles de déclencher une automatisation en définissant un filtre sur l’utilisateur ou sur le nom du run. Le statut d’un run étant une propriété du run dans son ensemble, vous ne pouvez créer une automatisation de statut de run que depuis la page Automatisations, et non depuis un workspace.

​

Modification des métriques d’un run

Déclenchez un flux de travail en fonction de la valeur journalisée d’une métrique, qu’il s’agisse d’une métrique de l’historique d’un run ou d’une métrique système telle que cpu, qui suit le pourcentage d’utilisation du CPU. W&B journalise automatiquement les métriques système toutes les 15 secondes. Vous pouvez créer une automatisation basée sur les métriques d’un run depuis l’onglet Automatisations du projet ou directement depuis un panneau de graphique linéaire dans un workspace. Pour configurer une automatisation basée sur une métrique de run, définissez comment comparer la valeur de la métrique au seuil que vous indiquez. Les options proposées dépendent du type d’événement et des éventuels filtres appliqués. Vous pouvez également restreindre davantage les runs susceptibles de déclencher une automatisation en ajoutant un filtre sur l’utilisateur ou sur le nom du run. Utilisez un événement de seuil pour lancer une automatisation lorsqu’une métrique franchit une valeur fixe. Pour les événements Run metrics threshold met, configurez :

1. La fenêtre des valeurs journalisées les plus récentes à prendre en compte (5 par défaut).
2. La valeur à évaluer dans la fenêtre : Average, Min ou Max.
3. La comparaison à effectuer :
   • Above
   • Above or equal to
   • Below
   • Below or equal to
   • Not equal to
   • Equal to

Par exemple, déclenchez une automatisation lorsque la moyenne de accuracy dépasse 0.6. Utilisez un événement de seuil de variation pour démarrer une automatisation lorsqu’une métrique varie entre deux fenêtres de valeurs récentes. Pour les événements Run metrics change threshold met, l’automatisation s’appuie sur deux « fenêtres » de valeurs pour déterminer si elle doit démarrer :

• La fenêtre actuelle, qui correspond aux dernières valeurs journalisées à prendre en compte (10 par défaut).
• La fenêtre précédente, qui correspond aux valeurs journalisées récemment à prendre en compte avant la fenêtre actuelle (50 par défaut).

Les fenêtres actuelle et précédente sont consécutives et ne se chevauchent pas. Pour créer l’automatisation, configurez :

1. La fenêtre actuelle de valeurs journalisées (10 par défaut).
2. La fenêtre précédente de valeurs journalisées (50 par défaut).
3. Le mode d’évaluation des valeurs, relatif ou absolu (Relative par défaut).
4. La comparaison à effectuer :
   • Augmente d’au moins
   • Diminue d’au moins
   • Augmente ou diminue d’au moins

Par exemple, déclenchez une automatisation lorsque la loss moyenne diminue d’au moins 0.25.

​

Modification du z-score des métriques de run

W&B peut déclencher une automatisation lorsque le z-score (score standard) d’une métrique dépasse un seuil spécifié. Un z-score indique de combien d’écarts-types une valeur s’éloigne de la moyenne de cette métrique, calculée sur une fenêtre configurable de runs du projet (30 runs par défaut). Pour utiliser un z-score comme déclencheur, sélectionnez l’événement Run metrics z-score threshold met. Les automatisations basées sur le z-score informent votre équipe de performances inhabituelles sans recourir à des seuils absolus, qui peuvent varier à mesure que votre modèle ou votre processus d’entraînement évolue. Vous pouvez créer une automatisation sur le z-score des métriques de run depuis l’onglet Automatisations du projet ou directement depuis un panneau de graphique linéaire dans un workspace. Pour créer une automatisation sur le z-score, configurez :

1. Le seuil de z-score cible, exprimé sous forme de nombre flottant positif (par exemple, 2.0).
2. La fenêtre de valeurs journalisées qui sert à calculer la moyenne (30 par défaut).
3. La comparaison à effectuer :
   • Au-dessus (déclenchement lorsque les performances sont anormalement élevées).
   • En dessous (déclenchement lorsque les performances sont anormalement basses).
   • Au-dessus ou en dessous.

Par exemple, déclenchez une automatisation lorsque accuracy présente un z-score supérieur à 2, ce qui signifie que le run obtient des résultats nettement supérieurs à ceux des autres runs du projet. Signification des valeurs de z-score :

• Un z-score de 0 signifie que la métrique est égale à la moyenne.
• Un z-score de +2.0 signifie que la métrique se situe 2 écarts-types au-dessus de la moyenne.
• Un z-score de -2.0 signifie que la métrique se situe 2 écarts-types en dessous de la moyenne.
• Les valeurs au-delà de ±2 sont souvent considérées comme des valeurs aberrantes statistiquement significatives.

​

Filtres de runs

Cette section décrit comment l’automatisation sélectionne les runs à évaluer. Par défaut, n’importe quel run du projet déclenche l’automatisation lorsque l’événement se produit. Pour limiter les runs susceptibles de déclencher une automatisation, configurez l’un des filtres suivants : L’automatisation évalue chaque run de la manière suivante :

• Chaque run est examiné individuellement et peut déclencher l’automatisation.
• Les valeurs de chaque run sont placées dans une fenêtre distincte et comparées séparément au seuil.
• Sur une période de 24 heures, une même automatisation peut se déclencher au plus une fois par run.

Pour plus de détails, voir Créer des automatisations.

​

Étapes suivantes

• Créer une automatisation Slack
• Créer une automatisation webhook