Aperçu des Automatisations

• Lorsqu’un run échoue (événement), notifier un canal Slack (action).
• Lorsque l’alias production est ajouté à un artifact (événement), appeler un webhook pour déclencher un déploiement (action).
• Lorsqu’une nouvelle version de modèle est liée (événement), envoyer un prompt à ARIA pour la comparer à la version en production (action).

​

Où créer des automatisations

• Dans le hub Automatisations : sélectionnez Automations dans le menu de navigation de gauche pour afficher toutes les automatisations auxquelles vous avez accès, quelle que soit leur portée : organisation, équipe, projet, registre ou collection. Vous choisissez la portée lors de la création d’une automatisation. Voir Hub Automatisations.
• Dans un projet : ouvrez le projet, puis sélectionnez l’onglet Automations dans la barre latérale du projet.
• Dans un registre : ouvrez le registre, puis sélectionnez l’onglet Automations.

​

Hub Automatisations

• Créer une automatisation et choisir sa portée, sans avoir à connaître au préalable le point d’entrée propre à cette portée.
• Afficher dans une seule liste toutes les automatisations auxquelles vous avez accès, puis les filtrer et les trier (par exemple, par portée, déclencheur ou action).
• Cliquer sur le nom d’une automatisation pour afficher le détail complet de sa configuration.
• Consulter l’historique d’exécution d’une automatisation pour vérifier si elle a réussi ou échoué.
• Utiliser le filtre rapide pour basculer entre les automatisations que vous avez créées et toutes celles de votre organisation.
• Sélectionner plusieurs automatisations et les supprimer en une seule opération.

​

Cas d’usage

• Surveillance des runs et alertes : prévenez l’équipe lorsqu’un run échoue ou qu’une métrique franchit un seuil (par exemple, lorsque la perte passe à NaN ou que la précision chute).
• CI/CD du registre : lorsqu’une nouvelle version de modèle est liée ou qu’un alias (tel que staging ou production) est ajouté, déclenchez un webhook pour exécuter des tests ou lancer un déploiement.
• Flux de travail d’artifacts de projet : lorsqu’une nouvelle version d’artifact est créée ou qu’un alias est ajouté dans un projet, exécutez un job en aval ou publiez un message sur Slack.
• Analyse automatisée : lorsqu’un run échoue ou qu’une nouvelle version de modèle est liée, envoyez un prompt à ARIA pour diagnostiquer l’échec ou comparer la nouvelle version à celle en production.

​

Actions d’automatisation

• Notification Slack : envoie dans un canal Slack un message détaillant l’événement déclencheur. Le message résume l’événement et inclut un lien permettant d’afficher plus de détails dans W&B.
• Webhook : appelle une URL de webhook avec une charge utile JSON contenant des informations sur l’événement déclencheur. Utilisez les webhooks pour vous intégrer à des systèmes externes tels que des pipelines CI/CD, des services de déploiement de modèles ou des flux de travail personnalisés.
• Trigger ARIA : envoie un prompt à ARIA, qui démarre une nouvelle conversation et traite le prompt pour votre compte. Utilisez les actions ARIA pour analyser une nouvelle version de modèle, diagnostiquer un run en échec ou examiner une métrique ayant franchi un seuil. Disponible uniquement sur le Cloud mutualisé de W&B.

​

Fonctionnement des automatisations

1. Si nécessaire, configurez des secrets pour les chaînes sensibles dont l’automatisation a besoin, comme des jetons d’accès, des mots de passe ou des paramètres de configuration sensibles. Les secrets sont définis dans vos Team Settings. Ils servent le plus souvent dans les automatisations webhook, pour transmettre de manière sécurisée des identifiants d’authentification ou des jetons au service externe du webhook, sans les exposer en clair ni les coder en dur dans la charge utile du webhook.
2. Configurez des intégrations webhook ou Slack au niveau de l’équipe pour autoriser W&B à publier sur Slack ou à exécuter le webhook en votre nom. Une même action d’automatisation (webhook ou notification Slack) peut être utilisée par plusieurs automatisations. Ces actions sont définies dans vos Team Settings. Une action ARIA ne nécessite aucune intégration.
3. Dans le projet ou le registre, créez l’automatisation :
   1. Définissez l’événement à surveiller, par exemple l’ajout d’une nouvelle version d’artifact.
   2. Définissez l’action à déclencher lorsque l’événement se produit, par exemple publier dans un canal Slack, exécuter un webhook ou envoyer un prompt à ARIA. Pour un webhook, indiquez si nécessaire un secret à utiliser pour le jeton d’accès et/ou un secret à envoyer avec la charge utile.

​

Recommandations

• Commencez modestement : créez d’abord une ou deux automatisations pour des événements à fort enjeu (par exemple, les échecs de runs ou les modifications d’alias en production). Vérifiez qu’elles fonctionnent comme prévu avant d’en ajouter d’autres.
• Testez avant de passer en production : créez d’abord vos automatisations dans un projet de test, ou avec un webhook ou un canal Slack de test. Déclenchez manuellement l’événement, puis vérifiez que l’action s’exécute et que la charge utile ou le message est correct.
• Évitez la saturation d’alertes : utilisez des filtres de runs, des seuils de métriques ou des motifs d’alias pour limiter la fréquence de déclenchement d’une automatisation. Si vous gérez plusieurs niveaux de gravité, acheminez-les vers des canaux différents.

​

Limitations

• Les automatisations de métriques de run et les automatisations de variation du z-score des métriques de run ne sont prises en charge que dans le Cloud mutualisé de W&B et le Cloud dédié.
• Avec les portées Team et Organization, la W&B App ne prend en charge que les événements d’artifact et de collection. Les événements basés sur les runs ne sont pas disponibles dans l’App pour ces portées. Voir Événements et portée des automatisations.

​

Étapes suivantes

• Tutoriel sur les automatisations : vous guide dans la création d’une automatisation de projet qui déclenche une alerte en cas d’échec d’un run, et d’une automatisation de registre qui exécute un webhook lorsqu’un alias est ajouté. Le tutoriel utilise W&B App.
• Créer une automatisation.
• Événements et portée des automatisations.
• Créer un secret.