Envoyer une alerte - CoreWeave Docs

Créez des alertes par Slack ou par e-mail lorsque votre run plante, ou à l’aide d’un déclencheur personnalisé. Par exemple, vous pouvez créer une alerte si le gradient de votre boucle d’entraînement commence à exploser (valeur NaN) ou lorsqu’une étape de votre pipeline de ML se termine. Les alertes s’appliquent à tous les projets dans lesquels vous initialisez des runs, qu’il s’agisse de projets personnels ou de projets d’équipe. Vous recevez ensuite les messages d’alertes W&B dans Slack (ou par e-mail) :

Pour utiliser les alertes W&B, vous devez ajouter run.alert() à votre code. Si vous ne souhaitez pas modifier votre code, les Automatisations permettent également de notifier Slack en fonction d’un événement dans W&B, par exemple lorsqu’une version d’artifact est créée ou lorsqu’une métrique de run atteint un seuil ou varie d’une valeur donnée.Par exemple, une automatisation peut notifier un canal Slack lorsqu’une nouvelle version est créée, exécuter un webhook de tests automatisés lorsque l’alias production est ajouté à un artifact, ou lancer un job de validation uniquement lorsque la loss d’un run reste dans des limites acceptables.Consultez l’aperçu des Automatisations ou créez une automatisation.

Le guide suivant s’applique uniquement aux alertes dans le Cloud mutualisé.Si vous utilisez W&B Server dans votre cloud privé ou sur le Cloud dédié W&B, reportez-vous à Configurer les alertes Slack dans W&B Server pour configurer les alertes Slack.

Alertes automatiques sur le cycle de vie des runs

W&B peut vous avertir lorsqu’un run se termine ou plante, sans aucune modification de code. Dans vos Paramètres utilisateur, faites défiler jusqu’à la section Alertes et activez :

Run finished pour être averti lorsqu’un run se termine avec succès.
Run crashed pour être averti lorsqu’un run s’arrête sans appeler run.finish().

Ces options sont propres à chaque utilisateur. Les alertes Run finished ne se déclenchent pas pour les runs exécutés dans des notebooks Jupyter. Dans les notebooks, utilisez run.alert() pour être averti de la fin d’exécution. Les alertes sont envoyées par e-mail ou sur Slack, selon ce que vous avez configuré dans ce même panneau Paramètres utilisateur. Cette configuration d’envoi est commune aux alertes scriptables, présentées dans les sections suivantes, qui vous permettent de déclencher des alertes selon des conditions personnalisées, comme un seuil de métrique ou une perte NaN. Pour configurer des alertes scriptables avec run.alert(), suivez les étapes ci-dessous, détaillées dans les sections suivantes :

Activez les alertes dans vos Paramètres utilisateur W&B.
Ajoutez run.alert() à votre code.
Testez la configuration.

Activer les alertes dans vos Paramètres utilisateur W&B

Dans vos Paramètres utilisateur :

Faites défiler la page jusqu’à la section Alertes
Activez Scriptable run alerts pour recevoir les alertes émises par run.alert()
Cliquez sur Connect Slack pour choisir le canal Slack dans lequel publier les alertes. Nous vous recommandons le canal Slackbot, car il garde les alertes privées.
Les alertes par Email sont envoyées à l’adresse e-mail utilisée lors de votre inscription à W&B. Nous vous recommandons de configurer un filtre dans votre messagerie afin que toutes ces alertes soient classées dans un dossier et n’encombrent pas votre boîte de réception.

Vous n’aurez à effectuer cette opération que lors de votre première configuration des alertes W&B, ou si vous souhaitez modifier la façon dont vous recevez les alertes.

Paramètres des alertes dans les Paramètres utilisateur W&B

Ajoutez `run.alert()` à votre code

Ajoutez run.alert() à votre code (dans un notebook ou un script Python) à l’endroit où vous souhaitez déclencher l’alerte

import wandb

with wandb.init() as run:
    run.alert(title="High Loss", text="Loss is increasing rapidly")

Tester la configuration

Consultez Slack ou vos e-mails pour vérifier que vous avez bien reçu le message d’alerte. Si ce n’est pas le cas, assurez-vous d’avoir activé les notifications par e-mail ou Slack pour Scriptable Alerts dans vos Paramètres utilisateur

Exemple

Cette alerte simple envoie un avertissement lorsque la précision passe sous un seuil donné. Dans cet exemple, deux alertes sont toujours espacées d’au moins 5 minutes.

import wandb
from wandb import AlertLevel

with wandb.init() as run:

    if acc < threshold:
        run.alert(
            title="Low accuracy",
            text=f"Accuracy {acc} is below the acceptable threshold {threshold}",
            level=AlertLevel.WARN,
            wait_duration=300,
        )

Identifier ou mentionner des utilisateurs

Utilisez l’arobase @ suivie de l’ID utilisateur Slack pour vous identifier, vous ou vos collègues, dans le titre ou dans le texte de l’alerte. Vous pouvez trouver l’ID utilisateur Slack d’une personne sur la page de son profil Slack.

run.alert(title="Loss is NaN", text=f"Hey <@U1234ABCD> loss has gone to NaN")

Configurer les alertes d’équipe

Les administrateurs d’équipe peuvent configurer des alertes pour l’équipe depuis la page des paramètres de l’équipe : wandb.ai/teams/your-team. Les alertes d’équipe s’appliquent à tous les membres de votre équipe. W&B recommande d’utiliser le canal Slackbot, qui garantit la confidentialité des alertes.

Modifier le canal Slack de destination des alertes

Pour modifier le canal qui reçoit les alertes, cliquez sur Disconnect Slack, puis reconnectez Slack. Une fois la connexion rétablie, choisissez un autre canal Slack.

​Alertes automatiques sur le cycle de vie des runs

​ Activer les alertes dans vos Paramètres utilisateur W&B

​ Ajoutez run.alert() à votre code

​ Tester la configuration

​Exemple

​Identifier ou mentionner des utilisateurs

​Configurer les alertes d’équipe

​Modifier le canal Slack de destination des alertes

Alertes automatiques sur le cycle de vie des runs

Activer les alertes dans vos Paramètres utilisateur W&B

Ajoutez `run.alert()` à votre code

Tester la configuration

Exemple

Identifier ou mentionner des utilisateurs

Configurer les alertes d’équipe

Modifier le canal Slack de destination des alertes