Surveiller vos agents avec les signals

Dans la vue Agents de W&B Weave, l’onglet Signals affiche les tags et les scores des conversations de votre agent. Les signals font remonter les problèmes de qualité et de sécurité pour signaler les anomalies, dégager des tendances et mettre en évidence les traces qui requièrent votre attention. Utilisez les signals pour évaluer automatiquement la qualité des réponses de votre agent, détecter la frustration d’un utilisateur ou signaler du contenu NSFW.

Premiers pas

Pour afficher les signaux de votre projet :

Accédez à Forge et sélectionnez votre projet.
Dans le menu latéral, sélectionnez Agents pour afficher toutes les conversations d’agent enregistrées dans votre projet.
Dans la barre d’onglets, sélectionnez Signals.

L’onglet Signals affichant la liste des tours de conversation évalués pour l’agent.

Termes clés

Tour de conversation : un échange aller-retour entre l’utilisateur et l’agent.
Évaluation : un score numérique compris entre 0,0 et 1,0, attribué à un span correspondant.
Tags : des libellés attribués aux spans correspondants, par exemple « user-frustration » ou « nsfw ».

Tableau Signals

L’onglet Signals affiche un tableau des tours de conversation évalués de votre agent. Chaque ligne correspond à la sortie de l’un de vos moniteurs de signaux. Les colonnes suivantes s’affichent par défaut.

Colonne	Description
Type	La partie de la conversation évaluée. Seul `turn` est pris en charge.
Scorer	Le nom du signal qui a produit ce score.
Last message	Un aperçu du dernier message du tour de conversation évalué, avec le rôle indiqué en dessous.
Agent	L’agent associé au tour de conversation évalué.
Scores	Le score numérique compris entre 0,0 et 1,0, ou un tag en cas de correspondance. Nous vous recommandons d’utiliser des scores cohérents, où 1 correspond à un bon résultat et 0 à un mauvais, mais vos évaluateurs peuvent utiliser n’importe quelle échelle de votre choix.
Trend	Affiche un graphique intégré qui montre l’évolution de ce signal dans le temps. Indique soit la valeur moyenne (pour les scores), soit le nombre d’occurrences (pour les tags).
When	Le moment où le signal a été évalué.

Utilisez le sélecteur de période et la barre Filter pour affiner les résultats par évaluateur, agent, plage de scores ou période. La chronologie Score volume indique le nombre de signaux que Weave a évalués (scores) ou tagués. Elle reflète les lignes affichées dans le tableau et permet de filtrer en faisant glisser le curseur sur la chronologie.

Créer un nouveau signal

Pour commencer à évaluer les tours de conversation de votre agent, créez un ou plusieurs signaux. Sélectionnez + New signal pour ouvrir le volet latéral Create signals. Le volet latéral classe les signaux disponibles en deux catégories :

Tags : appliquent automatiquement une étiquette aux spans correspondants, par exemple user-frustration ou nsfw. Utilisez les tags pour catégoriser les spans ou signaler un comportement indésirable. L’interface des signaux n’affiche de lignes que pour les spans associés à au moins un tag : un signal de type tag peut donc s’exécuter correctement même si aucun résultat ne s’affiche.
Ratings : attribuent un score compris entre 0 et 1 aux spans correspondants. Utilisez les scores pour évaluer les performances de l’agent et mesurer leur évolution au fil du temps.

Signals prédéfinis

Chaque catégorie propose des modèles prédéfinis que vous pouvez sélectionner directement. Combinez librement les préréglages des deux catégories, puis sélectionnez Create [N] signals pour les créer tous en une seule fois avec les paramètres par défaut.

Préréglages de tags

Modèle	Ce qu’il détecte
User Frustration	L’utilisateur manifeste de la frustration, de la colère, de la confusion ou de l’insatisfaction.
Malicious Intent (Jailbreaking)	L’utilisateur tente de contourner les protections du système (jailbreak), d’extraire du contenu restreint, de procéder à une injection de prompt, d’exploiter des jeux de rôle ou, plus généralement, de manipuler l’agent pour qu’il ignore ses garde-fous.
NSFW	L’entrée de l’utilisateur ou la sortie de l’agent contient du contenu sexuel explicite, de la violence crue ou tout autre contenu inapproprié en milieu professionnel.
Low Quality Response	Sortie de l’agent factuellement erronée, hors sujet, évasive, répétitive, non justifiée en cas de refus, ou qui, d’une manière ou d’une autre, ne répond pas à la requête de l’utilisateur.

Préréglages de score

Modèle	Ce qu’il évalue
User Satisfaction	Détermine si l’utilisateur est satisfait (retours positifs, poursuite de l’échange, réalisation de la tâche) ou insatisfait (plaintes, reformulations répétées, abandon).
User Good Intent	Détermine si l’intention de l’utilisateur est bienveillante et légitime, ou s’il s’agit de tentatives de jailbreak, de requêtes malveillantes ou d’injection de prompt.
Safe-for-Work	Détermine si la conversation convient à tout cadre professionnel, ou si elle comporte des contenus explicites, violents ou autrement inappropriés en milieu professionnel.
Response Quality	Détermine si la réponse de l’agent est exacte, complète et répond directement à la requête de l’utilisateur.

Signaux personnalisés

Pour créer un signal de tag personnalisé à partir d’un onglet Signals vide, consultez Créer un signal personnalisé.

Gérer et modifier les signaux

Si vous avez créé au moins un signal, sélectionnez le bouton des signaux actifs dans la barre d’outils (il indique le nombre de signaux actifs, par exemple 1 active signals) pour ouvrir un volet latéral qui répertorie tous les signaux actifs du projet. Depuis ce volet, vous pouvez activer ou désactiver des signaux, les supprimer ou modifier n’importe lequel d’entre eux. L’éditeur propose les mêmes champs de configuration que pour un signal personnalisé.

Résoudre les problèmes liés aux signals

L’activité des signals apparaît sous Traces dans la barre latérale du projet. Si vous ne trouvez pas les correspondances de signal attendues, utilisez le tableau Traces pour identifier le problème. Vérifiez par exemple le nom du scorer ainsi que la colonne Status afin de repérer d’éventuelles erreurs. Les erreurs d’exécution du scorer se signalent par un indicateur rouge dans la colonne Status, accompagné du détail des erreurs.

​Premiers pas

​Termes clés

​Tableau Signals

​Créer un nouveau signal

​Signals prédéfinis

​Préréglages de tags

​Préréglages de score

​Signaux personnalisés

​Gérer et modifier les signaux

​Résoudre les problèmes liés aux signals