- Alerte de seuil : envoyez une notification Slack lorsque le score moyen d’un monitor franchit un seuil.
- Détection de régression : envoyez une alerte lorsqu’un scorer détecte une baisse de la précision ou une hausse de la toxicité.
- Gate de déploiement : déclenchez un webhook lorsqu’une métrique de qualité dépasse un seuil de confiance sur une fenêtre glissante.
- Supervision opérationnelle : envoyez une alerte en cas de variation des taux d’erreur ou des métriques de latence.
Créer une automatisation
Pour créer une automatisation, configurez l’événement déclencheur et sélectionnez l’action à exécuter.Prérequis
Avant de créer l’automatisation qui les relie, l’événement déclencheur (par exemple un op ou un monitor) et l’action (par exemple une intégration Slack) doivent déjà exister.- Dans Weave, configurez l’op ou le monitor qui vous intéresse.
- Dans les paramètres de votre équipe, configurez une intégration Slack ou un webhook.
Configurer l’événement
La configuration de l’événement définit la condition qui déclenche l’automatisation. Vous y sélectionnez une métrique de monitor, une fenêtre temporelle et un seuil. Pour créer une automatisation :- Accédez à Forge et ouvrez votre projet.
- Dans la barre latérale du projet, cliquez sur Automatisations.
- Dans l’en-tête de la page Automatisations, cliquez sur Create automation.
- Dans la boîte de dialogue Create automation, configurez l’événement :
- Event : sélectionnez le type d’événement qui déclenche cette automatisation, par exemple un seuil de métrique Weave.
- Source : choisissez comme source de l’automatisation une Operation ou un Monitor de votre projet.
- Operation : sélectionnez le Op name dont le monitor évalue les traces. La liste contient les ops ayant journalisé au moins une trace dans le projet.
- Monitor : sélectionnez le Monitor qui produit la métrique que vous souhaitez suivre.
- Metric : sélectionnez la métrique à mesurer pour l’alerte.
- Metric Threshold : définissez la condition qui déclenche l’automatisation. Sélectionnez un comparateur (par exemple « is above ») et indiquez la valeur de seuil (par exemple
0.9). - Window : choisissez le type de fenêtre utilisée pour déclencher l’automatisation : Time-based ou Count-based. Sélectionnez la fonction d’agrégation (par exemple Average) et la période glissante (par exemple 1 day).
- Aggregation : définissez la fonction d’agrégation (par exemple moyenne, médiane, minimum) à appliquer aux valeurs de la métrique dans la fenêtre avant de les comparer au seuil.
- Examinez le graphique Alert preview pour vérifier que les seuils déclenchent les alertes comme prévu.
- Cliquez sur Next step pour passer à la configuration de l’action.
Configurer l’action
La configuration de l’action définit l’action exécutée lorsque l’événement remplit la condition. Pour configurer l’action :- Dans le panneau Step 2 of 3, configurez les éléments suivants :
- Team : sélectionnez l’équipe qui recevra la notification.
- Action type : sélectionnez le type d’action à effectuer, par exemple l’envoi d’une Slack notification.
- Action details : selon le type d’action, fournissez la configuration requise :
- Pour les notifications Slack, sélectionnez le Slack channel vers lequel envoyer la notification.
- Pour les webhooks, indiquez le nom du Webhook et la Payload.
- Cliquez sur Next step pour passer à la synthèse.
Vérifier et enregistrer
L’étape de synthèse affiche un aperçu complet de l’automatisation avant son enregistrement. Pour enregistrer :- Configurez les métadonnées de l’automatisation :
- Automation name : saisissez le nom de l’automatisation, tel qu’il apparaîtra dans le tableau Automatisations.
- Description (facultatif) : ajoutez une description pour mieux identifier le rôle de l’automatisation.
- Cliquez sur Create automation pour créer l’automatisation.
Créer une automatisation à partir d’un monitor
Vous pouvez également créer des automatisations directement depuis la vue détaillée d’un monitor. Cette méthode préremplit la configuration de l’événement avec le contexte du monitor, ce qui simplifie et accélère la mise en place. Avant de créer l’automatisation, configurez l’intégration Slack ou le webhook que vous souhaitez utiliser comme action. Pour créer une automatisation à partir d’un monitor :- Dans la barre latérale du projet Weave, cliquez sur Monitors.
- Dans le tableau Monitors, cliquez sur le nom du monitor pour ouvrir son panneau de détails.
- Dans le panneau de détails du monitor, sélectionnez l’onglet Automatisations pour afficher les automatisations existantes associées à ce monitor.
- Dans la barre d’outils de la section Automatisations, cliquez sur Create automation.
- Dans le panneau Create automation, Weave préremplit la configuration de l’événement avec les détails du monitor sélectionné. Ajustez la configuration si nécessaire :
- Metric : sélectionnez la métrique à mesurer pour l’alerte.
- Metric Threshold : définissez la condition qui déclenche l’automatisation. Sélectionnez un opérateur de comparaison (par exemple « is above ») et indiquez la valeur du seuil (par exemple
0.9). - Window : définissez le type de fenêtre utilisée pour déclencher l’automatisation : Time-based ou Count-based. Sélectionnez la fonction d’agrégation (par exemple Average) et la période glissante (par exemple 1 day).
- Aggregation : définissez la fonction d’agrégation (par exemple moyenne, médiane ou minimum) à appliquer aux valeurs de la métrique dans la fenêtre avant leur comparaison avec le seuil.
- Cliquez sur Next et suivez les étapes restantes (sélection de l’action et enregistrement) décrites dans Créer une automatisation.
Afficher et gérer les automatisations
La page Automatisations répertorie toutes les automatisations de votre projet. Pour chaque automatisation, le tableau affiche les informations suivantes :- Automation : le nom et la description de l’automatisation.
- Event type : le type d’événement qui déclenche l’automatisation.
- Action type : l’action déclenchée par l’automatisation, par exemple l’envoi d’une notification Slack.
- Date created : la date à laquelle vous avez créé l’automatisation.
- Last execution : la date du dernier déclenchement de l’automatisation.
- Dans la barre latérale du projet Weave, cliquez sur Automatisations.
- Utilisez le champ de recherche de la barre d’outils du tableau pour filtrer les automatisations par nom.