> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.
# Surveiller à l’aide des signaux intégrés
> W&B fournit des solutions d’évaluation intégrées pour les agents en production
Cette page décrit une ancienne approche de la surveillance du trafic de production. Pour les nouvelles implémentations, utilisez **Signals** dans Weave for Agents. Voir [Afficher les signaux des agents](/fr/products/wandb/weave/guides/tracking/view-agent-signals).
Les métriques système standard, comme la latence, le nombre de jetons ou le coût, ne permettent pas de capturer pleinement le comportement d’un agent. L’inspection de traces individuelles offre une vision approfondie, mais ne passe pas à l’échelle face aux millions de traces générées dans un environnement réel.
Les signaux répondent à ce problème par une surveillance de haut niveau, en proposant une évaluation automatisée du comportement des agents en production :
* Évaluation automatisée : chaque trace de production entrante est automatiquement traitée et évaluée au regard des erreurs et problèmes de qualité courants.
* Infrastructure : le traitement repose sur les ressources de calcul et les GPU CoreWeave, ce qui permet de passer à l’échelle sur des millions de traces.
En utilisant les signaux en production, vous pouvez :
* Mieux comprendre le comportement de vos agents. Allez au-delà des métriques système pour déterminer si votre agent hallucine, s’écarte des schémas de conversation attendus ou perd l’ancrage dans ses éléments de preuve.
* Accélérer la boucle de recherche. Utilisez les scores et les analyses d’échecs générés par les signaux pour identifier les points faibles, puis appuyez-vous sur ces résultats pour vos travaux d’amélioration de modèle, d’annotation de données ou d’apprentissage par renforcement.
Signaux disponibles
W\&B Weave propose des moniteurs dotés de signaux intégrés : des évaluateurs prédéfinis qui analysent par défaut les traces de production pour détecter les problèmes de qualité et les erreurs courants, sans aucune configuration personnalisée. Chaque signal intégré s’appuie sur un prompt LLM validé par des benchmarks pour classer les traces, puis enregistre les résultats sous forme de tags séparés par des virgules, correspondant aux problèmes détectés.
Les signaux utilisent un modèle [Serverless Inference](/fr/products/inference/serverless) pour évaluer les traces : vous n’avez donc besoin d’aucune clé API externe.
W\&B Weave fournit 13 signaux prédéfinis, répartis en deux groupes.
Signaux de qualité
Les signaux de qualité évaluent les traces racines réussies afin de détecter les problèmes de qualité et de sécurité dans la sortie.
| Signal | Ce qu’il détecte |
| - | - |
| **Hallucination** | Faits inventés ou affirmations qui contredisent le contexte d’entrée fourni |
| **Low quality** | Réponses mal formatées, bâclées ou au contenu incomplet |
| **User frustration** | Signes de frustration de l’utilisateur, tels que des questions répétées, un sentiment négatif ou des plaintes |
| **Jailbreaking** | Tentatives d’injection de prompt et de jailbreak visant à contourner les consignes de sécurité |
| **NSFW** | Contenu explicite, violent ou inapproprié de toute autre manière dans les entrées ou les sorties |
| **Lazy** | Réponses produites avec peu d’effort, comme une brièveté excessive, des refus d’aider ou un travail remis à plus tard |
| **Forgetful** | Incapacité à utiliser le contexte des échanges précédents de la conversation, avec des faits ou des instructions énoncés auparavant qui sont ignorés |
Signaux d’erreur
Les signaux d’erreur classent les traces en échec selon leur cause première afin de vous aider à identifier et à résoudre les problèmes d’infrastructure et d’application.
| Signal | Ce qu’il détecte |
| - | - |
| **Network Error** | Échecs DNS, délais d’expiration, réinitialisations de connexion et autres problèmes de connectivité |
| **Ratelimited** | Réponses HTTP `429`, épuisement du quota et limitation de débit imposée par les API en amont |
| **Request Too Large** | Requêtes dépassant les limites de taille ou de jetons, par exemple en cas de dépassement de la fenêtre de contexte |
| **Bad Request** | Erreurs côté client entraînant le rejet de la requête par le serveur (`4xx` sauf `429`) |
| **Bad Response** | Réponses non valides, inattendues ou inexploitables renvoyées par des services distants (`5xx`) |
| **Bug** | Défauts dans le code de l’application, tels que `KeyError`, `TypeError` ou des erreurs de logique |
Fonctionnement des signaux
Chaque signal s’appuie sur une approche LLM-as-a-judge (LLM en tant que juge) pour classer les traces :
* **Sélection des traces** : les signaux de qualité évaluent les traces racines réussies, tandis que les signaux d’erreur évaluent les traces en échec. Weave n’attribue pas de score aux spans enfants ni aux appels intermédiaires.
* **Construction du prompt** : Weave construit un prompt qui inclut les métadonnées de la trace, les entrées, les sorties, les détails de l’exception (le cas échéant) et le code source de l’opération. Weave y ajoute ensuite le prompt du classifieur du signal, qui contient les instructions propres au problème à détecter.
* **Évaluation par le LLM** : pour chaque signal, un modèle Serverless Inference effectue une classification binaire (le problème est-il présent ou non dans la trace ?). Les problèmes détectés sont renvoyés sous forme de tags de type string séparés par des virgules (par exemple, `"Low-quality, User-frustration, Forgetful"`).
Lorsque plusieurs signaux d’un même groupe (Quality ou Error) sont actifs, Weave les regroupe en un seul appel LLM. Le modèle évalue alors tous les classifieurs actifs en une seule passe et renvoie un résultat pour chacun.
Ajouter un signal depuis la page Moniteurs
L’ajout d’un signal active l’évaluation automatique : Weave évalue alors les nouvelles traces de production selon les critères de ce signal. Pour activer des signaux :
1. Accédez à [Forge](https://forge.coreweave.com/wandb), puis ouvrez votre projet Weave.
2. Dans la barre latérale du projet Weave, sélectionnez **Moniteurs**.
3. Pour ajouter un signal à un projet dans lequel aucun moniteur n’est activé, cliquez sur sa carte pour cocher la case correspondante, puis cliquez sur **Setup moniteurs**.
4. Pour ajouter des signaux à un moniteur existant, sélectionnez **Browse signals** en haut à droite de la page **Moniteurs**. Le volet latéral **Add signals** s’ouvre alors et répertorie les signaux disponibles, regroupés par catégorie (par exemple Quality classifiers et Error classifiers), chacun accompagné d’une case à cocher. Vous pouvez sélectionner des signaux un par un, utiliser **Enable all** pour tout un groupe ou sélectionner **Create custom signal**. Sélectionnez ensuite **Add signals** en bas du volet latéral.
Une fois les signaux ajoutés, Weave évalue automatiquement les traces entrantes.
Gérer les signaux actifs
Une fois vos signaux en cours d’exécution, vous pouvez vérifier lesquels sont actifs ou désactiver ceux dont vous n’avez plus besoin. Pour afficher ou supprimer des signaux actifs :
1. Sur la page Monitors, sélectionnez le bouton **Manage signals** (). Un volet latéral s’ouvre et répertorie tous les signaux actuellement actifs, regroupés par catégorie.
2. Survolez un signal, puis sélectionnez le bouton **Remove signal** () pour le désactiver.
Une fois un signal supprimé, les nouvelles traces ne sont plus évaluées par celui-ci. Weave conserve les scores déjà produits par ce signal.
Utiliser les signaux intégrés
Une fois que les signaux sont actifs et évaluent vos traces, vous pouvez consulter les résultats à plusieurs endroits dans Weave. Vous pouvez également configurer des alertes qui se déclenchent lorsque Weave détecte des problèmes. Les sections suivantes indiquent où trouver les résultats des signaux et comment y donner suite.
Voir les traces d’appels taguées sur la page Traces
Si vous tracez des fonctions individuelles en tant qu’ops avec le décorateur `@weave.op`, Weave stocke les résultats des signaux sous forme de feedback sur l’objet Call. Vous pouvez interroger ces résultats depuis la page **Traces**.
Sur la page **Traces**, la colonne **Signals** vous permet de repérer certains comportements dans vos traces. La colonne Signals affiche des tags lorsque leurs critères sont remplis. Survolez ces tags pour voir le niveau de confiance du score et le raisonnement.
Utilisez la barre d’outils du tableau des traces pour n’afficher que les traces ayant déclenché certains signaux.
Pour afficher davantage de détails sur un signal depuis la page Traces, sélectionnez l’appel du classifieur généré par le signal et consultez la **Trace Details view**. Sous **Output** de l’appel, consultez `classifier_meta` pour connaître le raisonnement. Par exemple, la capture d’écran suivante montre un signal `Quality-classifiers` avec une correspondance `Low-quality`, une confiance de 0,9 et la justification de cette évaluation.
Voir les signals dans le tableau de bord du projet
Vous pouvez également consulter les signals à l’échelle du projet :
1. Dans la barre latérale du projet, sélectionnez **Project**.
2. En haut du tableau de bord Project, sélectionnez l’onglet **Weave**.
3. Parmi les panneaux du tableau de bord Weave, repérez **Monitor Scores**.
Le panneau Monitor Scores du projet affiche des graphiques chronologiques des signals survenus dans le projet.
Alertes sur les signaux
En plus de consulter les signaux dans l’interface utilisateur, Weave peut vous notifier lorsque des signaux se déclenchent. Vous pouvez configurer des déclencheurs automatisés qui notifient votre équipe via des outils comme Slack lorsque les performances d’un agent passent sous un certain seuil.
Pour être notifié lorsqu’un signal se déclenche, configurez une [automatisation](/fr/products/wandb/weave/guides/evaluation/automations).
***
Pour une surveillance plus spécifique que celle fournie par les signaux intégrés, voir [Configurer des moniteurs personnalisés](/fr/products/wandb/weave/guides/evaluation/custom-monitors).
## Related topics
- [Créer un signal personnalisé](/fr/products/wandb/weave/guides/tracking/create-custom-signal.md)