Skip to main content
Un signal personnalisé évalue les tours de conversation d’un agent en fonction d’un comportement que vous définissez, puis affiche le résultat sous forme de tag dans la vue Agents. Weave fournit également des signaux intégrés pour les cas courants, comme la frustration de l’utilisateur ou les tentatives de jailbreak. Si ces signaux intégrés ne couvrent pas ce que vous souhaitez surveiller, créez un signal personnalisé. Cette page explique comment créer ce signal de tag personnalisé dans l’interface de Weights & Biases.

​
Créer un signal de tag personnalisé

Pour créer un signal de tag personnalisé :
  1. Accédez à Forge et sélectionnez votre projet.
  2. Dans la barre latérale du projet Weave, cliquez sur Agents.
  3. Dans la barre d’onglets, cliquez sur Signals.
  4. Dans l’onglet Signals, cliquez sur + Create your first signal ou sur New signal.
  5. Dans le volet latéral, cliquez sur Signal personnalisé.
Le volet latéral Custom tags avec les champs Tag name, Definition, Scorer name et Inference model permettant de créer un signal personnalisé.
  1. Dans le volet latéral Custom tags, configurez les champs suivants :
    • Tag name : le libellé qui s’affiche dans la vue Agents pour le comportement que vous souhaitez surveiller.
    • Definition : un prompt décrivant le comportement que le signal doit détecter. Weave envoie ce prompt à un juge LLM, qui évalue chaque tour de conversation de l’agent et applique le tag lorsque le tour correspond au comportement décrit. Par exemple, pour repérer une défaillance propre à un produit : « L’utilisateur évoque des erreurs ou des problèmes concernant le produit X. »
    • + Add tag (facultatif) : cliquez pour définir un autre tag sur le même signal. Par exemple, si vous assurez l’assistance de plusieurs produits, ajoutez un tag distinct pour chacun d’eux afin de suivre la frustration produit par produit, et pas seulement de manière globale.
    • Scorer name : le nom de l’objet scorer sous-jacent.
    • Inference model or custom runtime : le modèle utilisé pour évaluer les tours de conversation correspondants. Par défaut, il s’agit de Serverless Inference. CoreWeave Serverless Inference consomme des crédits de votre compte CoreWeave Forge.
    • Include tool calls (facultatif) : développez Advanced, puis cochez la case pour inclure les appels d’outils du tour de conversation dans le contexte envoyé au modèle d’évaluation.
    • Only score turns matching (facultatif) : développez Advanced, puis ajoutez un ou plusieurs filtres pour limiter les tours de conversation évalués par le signal, par exemple par agent, opération, outil ou modèle. Laissez ce champ vide pour évaluer tous les tours de conversation de l’agent. Lorsque plusieurs filtres sont définis, Weave les combine avec la logique AND.
    • Sample rate (facultatif) : développez Advanced, puis définissez la proportion des tours de conversation correspondants que le signal évalue. Pour les agents à fort trafic, réduisez le taux d’échantillonnage afin de n’évaluer qu’une partie des tours correspondants et de réduire ainsi les coûts.
  2. Dans le volet latéral Custom tags, cliquez sur Create signal.
Une fois le signal créé, Weave évalue les tours de conversation correspondants. Le tag s’affiche dans la vue Agents, y compris dans l’onglet Signals.
Dernière modification le 30 septembre 2026