Afficher les insights de l’agent

CoreWeave Agent Lens classe chaque tour de conversation traité par votre agent et regroupe les résultats dans deux rapports de l’onglet Insights : Agent failures et User intents. Chaque rapport représente sous forme de graphique l’évolution des tours de conversation de chaque catégorie sur la plage temporelle sélectionnée, résume les clusters de tours de conversation similaires les plus fréquents, affiche des métriques d’impact pour chaque catégorie et présente des exemples réels de tours de conversation pour chaque catégorie et chaque cluster. Utilisez Insights pour découvrir ce que vos utilisateurs demandent le plus souvent, repérer les points d’échec de votre agent et déterminer si une modification que vous avez déployée a amélioré ou dégradé la situation, sans avoir à parcourir les conversations une à une.

Afficher les insights

Pour afficher les insights dans Agent Lens :

Accédez à CoreWeave Forge et sélectionnez Agent Lens dans le menu des produits.
Sélectionnez votre projet. Agent Lens ouvre le dernier projet que vous avez utilisé. Pour changer de projet, utilisez le sélecteur de projet en haut du menu latéral.
Dans le menu latéral d’Agent Lens, sélectionnez Insights.

L’onglet Insights affiche un rapport à la fois. Utilisez le sélecteur Agent failures / User intents en haut de la page pour passer d’un rapport à l’autre. Par défaut, un rapport couvre les 30 derniers jours. Pour modifier la période, sélectionnez le sélecteur de période en haut à droite et choisissez une option prédéfinie, de Last hour à Last 30 days, ou sélectionnez Choose date range. Pour affiner davantage un rapport, sélectionnez Filters. Agent Lens regroupe périodiquement les tours de conversation similaires en clusters. La ligne sous le titre de la page indique quand ce regroupement a eu lieu pour la dernière fois, par exemple Last clustered 2 days ago. Tant que le premier regroupement n’est pas terminé, elle affiche No completed clustering run.

Le rapport Agent failures, avec le graphique Failed turns empilé par catégorie d’échec et les cartes Top clusters.

Chaque rapport présente la même mise en page :

Un graphique de l’évolution des tours de conversation dans le temps, empilé par catégorie, qui vous permet de voir si un pic provient d’une seule catégorie ou de toutes à la fois.
Top clusters, un ensemble de cartes présentant les clusters de tours de conversation similaires les plus fréquents. Chaque carte comporte un nom généré pour le cluster, une description du schéma qu’il représente, la catégorie à laquelle il appartient et un lien View conversations qui ouvre les conversations correspondantes. Cette section apparaît une fois qu’Agent Lens a regroupé suffisamment de tours de conversation sur la période sélectionnée.
Une liste de catégories, chacune avec sa part de tours de conversation. Sélectionnez une catégorie pour afficher ses détails et la développer afin de voir les clusters qu’elle contient.

Une carte Impact pour la catégorie sélectionnée, avec les métriques suivantes :

Métrique	Description
Turns	Le nombre de tours de conversation attribués à la catégorie.
Conversations	Le nombre de conversations contenant ces tours de conversation.
Share of turns	La part des tours de conversation de la catégorie, en pourcentage de l’ensemble des tours de conversation classés.
Frustrated turns	Le pourcentage des tours de conversation de la catégorie dans lesquels l’utilisateur semble frustré.
Failed turns	Uniquement dans le rapport User intents, le pourcentage des tours de conversation de la catégorie dans lesquels Agent Lens a détecté un problème ou un échec.
Avg. time / turn	Le temps moyen mis par l’agent pour terminer un tour de conversation de la catégorie.
Avg. cost / turn	Le coût moyen estimé d’un tour de conversation de la catégorie.

Des exemples de tours de conversation pour la catégorie sélectionnée, regroupés par cluster.

La section Catégories d’échec and clusters, avec la catégorie Tool failure développée pour afficher ses clusters, et sa carte Impact indiquant les tours de conversation, les conversations, la part des tours de conversation, les tours de conversation frustrés ainsi que le temps et le coût moyens par tour de conversation.

Pour ouvrir l’onglet Conversations filtré sur la catégorie sélectionnée, sélectionnez View all conversations. Pour créer un tag qui trouve les tours de conversation semblables à ceux d’une catégorie, sélectionnez le menu d’actions de la catégorie (…), puis Tag conversations like these. Pour en savoir plus sur les tags, consultez Créer un tag personnalisé.

La liste des catégories indique la part de chaque catégorie en pourcentage de traces. Dans Insights, une trace correspond à un tour de conversation : un message de l’utilisateur et la réponse complète de l’agent. Un même tour de conversation peut être attribué à plusieurs catégories d’intention et à plusieurs catégories d’échec.

Agent failures

Le rapport Agent failures regroupe les tours de conversation au cours desquels Agent Lens a détecté un problème ou un échec. Les tours de conversation sans échec en sont exclus. Le graphique s’intitule Failed turns et ses catégories correspondent aux types d’échecs décrits dans la section Catégories d’échec.

Catégories d’échec

Agent Lens classe les tours de conversation en échec dans les catégories fixes suivantes.

Catégorie	Définition
Mauvaise utilisation d’outil	L’agent appelle un outil de manière incorrecte, choisit un outil inapproprié ou traite mal le résultat d’un outil.
Tool failure	Un appel d’outil correctement formé échoue ou renvoie une erreur qui empêche la tâche d’aboutir.
Résultat incorrect	L’agent comprend la tâche, mais produit un résultat incorrect, incomplet ou inexploitable pour une autre raison.
Exigence non respectée	L’agent ignore ou enfreint une contrainte ou une exigence explicite de l’utilisateur.
Tâche mal comprise	L’agent interprète mal l’objectif de l’utilisateur et travaille sur le mauvais problème ou vise le mauvais résultat.
Contexte perdu	L’agent oublie ou contredit des informations pertinentes établies plus tôt dans la conversation.
Boucle improductive	L’agent répète des actions, des nouvelles tentatives ou des raisonnements sans progresser réellement vers l’objectif de l’utilisateur.
Refus inapproprié	L’agent refuse une requête qu’il pourrait et devrait traiter sans risque.
Limitation de capacité	La tâche nécessite une capacité, une intégration, une autorisation ou une ressource dont l’agent ne dispose pas.
Erreur système	Un problème de plateforme ou d’infrastructure échappant au contrôle de l’agent empêche la tâche d’aboutir.
Comportement dangereux	L’agent adopte ou tente d’adopter un comportement contraire aux exigences de sécurité applicables.

Des catégories comme Tool failure et Erreur système signalent des problèmes extérieurs à votre prompt, tandis que Mauvaise utilisation d’outil, Exigence non respectée et Contexte perdu mettent généralement en cause les instructions de l’agent ou ses définitions d’outils.

User intents

Le rapport User intents regroupe les tours de conversation selon ce que l’utilisateur cherchait à faire. Vous pouvez ainsi voir à quoi sert réellement votre agent et quels types de requêtes aboutissent mal. Tous les tours de conversation sont classés par catégorie, et pas seulement ceux en échec. Le graphique s’intitule User turns, et ses catégories sont décrites dans Catégories d’intention. La carte Impact de ce rapport ajoute une métrique Failed turns. Un taux d’échec élevé sur une intention fréquente est le signe le plus direct qu’une modification pourrait être utile aux utilisateurs.

Catégories d’intention

Agent Lens attribue les tours de conversation aux catégories fixes suivantes.

Catégorie	Définition
Demande de tâche	L’utilisateur demande à l’agent de créer, modifier, supprimer ou effectuer quelque chose, y compris de corriger un problème signalé.
Question	L’utilisateur demande des informations, une explication, des instructions, une analyse ou une comparaison.
Clarification ou correction	L’utilisateur apporte des précisions à une demande existante ou corrige la compréhension, la sortie ou les instructions précédentes de l’agent.
Approbation	L’utilisateur accepte ou autorise une action proposée par l’agent.
Refus ou annulation	L’utilisateur refuse une action proposée ou demande d’arrêter ou d’annuler une action déjà en cours.
Signalement de problème	L’utilisateur signale un comportement défaillant ou incorrect sans demander de solution précise.
Feedback négatif	L’utilisateur exprime son insatisfaction à l’égard d’un résultat ou d’un comportement existant, sans demander de modification ni l’arrêt d’une action.
Feedback positif	L’utilisateur exprime sa satisfaction à l’égard d’un résultat ou d’un comportement existant, sans autoriser de nouvelle action.

Une part croissante de tours de conversation de type Clarification ou correction, Signalement de problème ou Feedback négatif indique généralement que les premières réponses de l’agent passent à côté de l’objectif, même lorsque le rapport d’échecs ne signale rien d’anormal.