Skip to main content
Dans la vue Agents de Weave, l’onglet Signaux affiche les tags et les scores des conversations de votre agent. Les signaux font remonter les problèmes de qualité et de sécurité pour signaler les anomalies, dégager des tendances et mettre en évidence les traces qui requièrent votre attention. Utilisez les signaux pour évaluer automatiquement la qualité des réponses de votre agent, détecter la frustration d’un utilisateur ou signaler du contenu NSFW. Pour attribuer des scores aux tours de conversation à l’aide d’un point de terminaison HTTP que vous hébergez, plutôt que d’un juge LLM, consultez Attribuer des scores aux tours de conversation des agents avec un évaluateur distant.

​
Premiers pas

Pour afficher les signaux de votre projet :
  1. Accédez à Forge et sélectionnez votre projet.
  2. Dans le menu latéral, sélectionnez Agents pour afficher toutes les conversations d’agent enregistrées dans votre projet.
  3. Dans la barre d’onglets, sélectionnez Signals.
L’onglet Signals affichant la liste des tours de conversation évalués pour l’agent.

​
Termes clés

  • Tour de conversation : un échange aller-retour entre l’utilisateur et l’agent.
  • Évaluation : un score numérique compris entre 0,0 et 1,0, attribué à un span correspondant.
  • Tags : des libellés attribués aux spans correspondants, par exemple « user-frustration » ou « nsfw ».

​
Tableau Signals

L’onglet Signals affiche un tableau des tours de conversation évalués de votre agent. Chaque ligne correspond à la sortie de l’un de vos moniteurs de signaux. Les colonnes suivantes s’affichent par défaut. Utilisez le sélecteur de période et la barre Filter pour affiner les résultats par évaluateur, agent, plage de scores ou période. La chronologie Score volume indique le nombre de signaux que Weave a évalués (scores) ou tagués. Elle reflète les lignes affichées dans le tableau et permet de filtrer en faisant glisser le curseur sur la chronologie.

​
Comment Weave normalise les scores

Avant de stocker le résultat d’un signal, Weave normalise les tags, les scores et les justifications renvoyés par l’évaluateur :
  • Les tags sont convertis en minuscules. Les caractères autres que 0-9, a-z, A-Z, l’espace et . , ; - & ! @ # $ % ? sont supprimés. Toute suite d’espaces, de caractères de soulignement et de tirets est remplacée par un seul tiret.
  • Au maximum 10 tags sont conservés par résultat. Les tags en double sont supprimés.
  • Les mêmes caractères sont supprimés des justifications, qui sont ensuite tronquées à 256 caractères.
  • Un tag de plus de 36 caractères, ou un résultat comportant plus d’un score, entraîne le rejet du résultat dans son intégralité : Weave n’écrit alors aucun feedback pour celui-ci.
Ces règles s’appliquent à tous les signaux, que le résultat provienne d’un juge LLM ou d’un évaluateur distant.

​
Créer un nouveau signal

Pour commencer à évaluer les tours de conversation de votre agent, créez un ou plusieurs signaux. Sélectionnez + New signal pour ouvrir le volet latéral Create signals. Le volet latéral classe les signaux disponibles en deux catégories :
  • Tags : appliquent automatiquement une étiquette aux spans correspondants, par exemple user-frustration ou nsfw. Utilisez les tags pour catégoriser les spans ou signaler un comportement indésirable. L’interface des signaux n’affiche de lignes que pour les spans associés à au moins un tag : un signal de type tag peut donc s’exécuter correctement même si aucun résultat ne s’affiche.
  • Ratings : attribuent un score compris entre 0 et 1 aux spans correspondants. Utilisez les scores pour évaluer les performances de l’agent et mesurer leur évolution au fil du temps.

​
Signals prédéfinis

Chaque catégorie propose des modèles prédéfinis que vous pouvez sélectionner directement. Combinez librement les préréglages des deux catégories, puis sélectionnez Create [N] signals pour les créer tous en une seule fois avec les paramètres par défaut.

​
Préréglages de tags

​
Préréglages de score

​
Signaux personnalisés

Pour créer un signal de tag personnalisé à partir d’un onglet Signals vide, consultez Créer un signal personnalisé.

​
Gérer et modifier les signaux

Si vous avez créé au moins un signal, sélectionnez le bouton des signaux actifs dans la barre d’outils (il indique le nombre de signaux actifs, par exemple 1 active signals) pour ouvrir un volet latéral qui répertorie tous les signaux actifs du projet. Depuis ce volet, vous pouvez activer ou désactiver des signaux, les supprimer ou modifier n’importe lequel d’entre eux. L’éditeur propose les mêmes champs de configuration que pour un signal personnalisé.

​
Résoudre les problèmes liés aux signals

L’activité des signals apparaît sous Traces dans la barre latérale du projet. Si vous ne trouvez pas les correspondances de signal attendues, utilisez le tableau Traces pour identifier le problème. Vérifiez par exemple le nom du scorer ainsi que la colonne Status afin de repérer d’éventuelles erreurs. Les erreurs d’exécution du scorer se signalent par un indicateur rouge dans la colonne Status, accompagné du détail des erreurs.
Dernière modification le 5 octobre 2026