Surveiller à l’aide des signaux intégrés

Les métriques système standard, comme la latence, le nombre de jetons ou le coût, ne permettent pas de capturer pleinement le comportement d’un agent. L’inspection de traces individuelles offre une vision approfondie, mais ne passe pas à l’échelle face aux millions de traces générées dans un environnement réel. Les signaux répondent à ce problème par une surveillance de haut niveau, en proposant une évaluation automatisée du comportement des agents en production :

• Évaluation automatisée : chaque trace de production entrante est automatiquement traitée et évaluée au regard des erreurs et problèmes de qualité courants.
• Infrastructure : le traitement repose sur les ressources de calcul et les GPU CoreWeave, ce qui permet de passer à l’échelle sur des millions de traces.

En utilisant les signaux en production, vous pouvez :

• Mieux comprendre le comportement de vos agents. Allez au-delà des métriques système pour déterminer si votre agent hallucine, s’écarte des schémas de conversation attendus ou perd l’ancrage dans ses éléments de preuve.
• Accélérer la boucle de recherche. Utilisez les scores et les analyses d’échecs générés par les signaux pour identifier les points faibles, puis appuyez-vous sur ces résultats pour vos travaux d’amélioration de modèle, d’annotation de données ou d’apprentissage par renforcement.

​

Signaux disponibles

W&B Weave propose des moniteurs dotés de signaux intégrés : des évaluateurs prédéfinis qui analysent par défaut les traces de production pour détecter les problèmes de qualité et les erreurs courants, sans aucune configuration personnalisée. Chaque signal intégré s’appuie sur un prompt LLM validé par des benchmarks pour classer les traces, puis enregistre les résultats sous forme de tags séparés par des virgules, correspondant aux problèmes détectés. Les signaux utilisent un modèle Serverless Inference pour évaluer les traces : vous n’avez donc besoin d’aucune clé API externe. W&B Weave fournit 13 signaux prédéfinis, répartis en deux groupes.

​

Signaux de qualité

Les signaux de qualité évaluent les traces racines réussies afin de détecter les problèmes de qualité et de sécurité dans la sortie.

​

Signaux d’erreur

Les signaux d’erreur classent les traces en échec selon leur cause première afin de vous aider à identifier et à résoudre les problèmes d’infrastructure et d’application.

​

Fonctionnement des signaux

Chaque signal s’appuie sur une approche LLM-as-a-judge (LLM en tant que juge) pour classer les traces :

• Sélection des traces : les signaux de qualité évaluent les traces racines réussies, tandis que les signaux d’erreur évaluent les traces en échec. Weave n’attribue pas de score aux spans enfants ni aux appels intermédiaires.
• Construction du prompt : Weave construit un prompt qui inclut les métadonnées de la trace, les entrées, les sorties, les détails de l’exception (le cas échéant) et le code source de l’opération. Weave y ajoute ensuite le prompt du classifieur du signal, qui contient les instructions propres au problème à détecter.
• Évaluation par le LLM : pour chaque signal, un modèle Serverless Inference effectue une classification binaire (le problème est-il présent ou non dans la trace ?). Les problèmes détectés sont renvoyés sous forme de tags de type string séparés par des virgules (par exemple, "Low-quality, User-frustration, Forgetful").

Lorsque plusieurs signaux d’un même groupe (Quality ou Error) sont actifs, Weave les regroupe en un seul appel LLM. Le modèle évalue alors tous les classifieurs actifs en une seule passe et renvoie un résultat pour chacun.

​

Ajouter un signal depuis la page Moniteurs

L’ajout d’un signal active l’évaluation automatique : Weave évalue alors les nouvelles traces de production selon les critères de ce signal. Pour activer des signaux :

1. Accédez à Forge, puis ouvrez votre projet Weave.
2. Dans la barre latérale du projet Weave, sélectionnez Moniteurs.
3. Pour ajouter un signal à un projet dans lequel aucun moniteur n’est activé, cliquez sur sa carte pour cocher la case correspondante, puis cliquez sur Setup moniteurs.
4. Pour ajouter des signaux à un moniteur existant, sélectionnez Browse signals en haut à droite de la page Moniteurs. Le volet latéral Add signals s’ouvre alors et répertorie les signaux disponibles, regroupés par catégorie (par exemple Quality classifiers et Error classifiers), chacun accompagné d’une case à cocher. Vous pouvez sélectionner des signaux un par un, utiliser Enable all pour tout un groupe ou sélectionner Create custom signal. Sélectionnez ensuite Add signals en bas du volet latéral.

Une fois les signaux ajoutés, Weave évalue automatiquement les traces entrantes.

​

Gérer les signaux actifs

Une fois vos signaux en cours d’exécution, vous pouvez vérifier lesquels sont actifs ou désactiver ceux dont vous n’avez plus besoin. Pour afficher ou supprimer des signaux actifs :

1. Sur la page Monitors, sélectionnez le bouton Manage signals (). Un volet latéral s’ouvre et répertorie tous les signaux actuellement actifs, regroupés par catégorie.
2. Survolez un signal, puis sélectionnez le bouton Remove signal () pour le désactiver.

Une fois un signal supprimé, les nouvelles traces ne sont plus évaluées par celui-ci. Weave conserve les scores déjà produits par ce signal.

​

Utiliser les signaux intégrés

Une fois que les signaux sont actifs et évaluent vos traces, vous pouvez consulter les résultats à plusieurs endroits dans Weave. Vous pouvez également configurer des alertes qui se déclenchent lorsque Weave détecte des problèmes. Les sections suivantes indiquent où trouver les résultats des signaux et comment y donner suite.

​

Voir les traces d’appels taguées sur la page Traces

Si vous tracez des fonctions individuelles en tant qu’ops avec le décorateur @weave.op, Weave stocke les résultats des signaux sous forme de feedback sur l’objet Call. Vous pouvez interroger ces résultats depuis la page Traces. Sur la page Traces, la colonne Signals vous permet de repérer certains comportements dans vos traces. La colonne Signals affiche des tags lorsque leurs critères sont remplis. Survolez ces tags pour voir le niveau de confiance du score et le raisonnement. Utilisez la barre d’outils du tableau des traces pour n’afficher que les traces ayant déclenché certains signaux. Pour afficher davantage de détails sur un signal depuis la page Traces, sélectionnez l’appel du classifieur généré par le signal et consultez la Trace Details view. Sous Output de l’appel, consultez classifier_meta pour connaître le raisonnement. Par exemple, la capture d’écran suivante montre un signal Quality-classifiers avec une correspondance Low-quality, une confiance de 0,9 et la justification de cette évaluation.

​

Voir les signals dans le tableau de bord du projet

Vous pouvez également consulter les signals à l’échelle du projet :

1. Dans la barre latérale du projet, sélectionnez Project.
2. En haut du tableau de bord Project, sélectionnez l’onglet Weave.
3. Parmi les panneaux du tableau de bord Weave, repérez Monitor Scores.

Le panneau Monitor Scores du projet affiche des graphiques chronologiques des signals survenus dans le projet.

​

Alertes sur les signaux

En plus de consulter les signaux dans l’interface utilisateur, Weave peut vous notifier lorsque des signaux se déclenchent. Vous pouvez configurer des déclencheurs automatisés qui notifient votre équipe via des outils comme Slack lorsque les performances d’un agent passent sous un certain seuil. Pour être notifié lorsqu’un signal se déclenche, configurez une automatisation.

---

Pour une surveillance plus spécifique que celle fournie par les signaux intégrés, voir Configurer des moniteurs personnalisés.