Comparer les traces et d’autres informations journalisées

La fonctionnalité de comparaison de W&B Weave vous permet de comparer visuellement le code, les traces, les prompts, les modèles et les configurations de modèles, et d’en afficher les différences. Vous pouvez comparer deux objets côte à côte ou analyser un ensemble plus large d’objets afin d’en dégager les différences, les schémas récurrents et les tendances. Elle s’avère utile lorsque vous itérez sur des prompts ou des modèles, lorsque vous déboguez des changements de comportement d’un run à l’autre ou lorsque vous auditez l’évolution des configurations au fil du temps. Ce guide s’adresse aux utilisateurs de Weave qui souhaitent examiner les différences entre des objets journalisés dans l’interface utilisateur. Il explique comment lancer une comparaison et présente les actions disponibles pour personnaliser votre vue de comparaison, notamment la comparaison avec une référence et la mise en forme des différences numériques.

​

Accéder à la vue de comparaison

Pour ouvrir la vue de comparaison de deux objets journalisés ou plus :

1. Dans la barre latérale, sélectionnez le type d’objet à comparer (par exemple, Traces ou Models).
2. Sélectionnez les objets à comparer. La méthode de sélection dépend du type d’objet que vous comparez :
   • Pour les Traces, sélectionnez les traces à comparer en cochant les cases des lignes correspondantes dans la colonne Trace.
   • Pour les objets tels que les Models, accédez à la page Versions du modèle et cochez les cases en regard des versions à comparer.
3. Sélectionnez Compare pour ouvrir la vue de comparaison. En haut de la page, la barre de comparaison contient des jetons d’ID d’appel interactifs (par exemple, f02b, 4a98) que vous pouvez faire glisser, réorganiser ou supprimer pour modifier la comparaison.
4. Vous pouvez affiner la vue à l’aide des actions disponibles.

​

Personnaliser la vue de comparaison

Dans la vue de comparaison, vous pouvez ajuster la manière dont les objets sont affichés et comparés. Les sections suivantes décrivent les actions disponibles :

• Afficher la synthèse
• Afficher une vue des appels
• Modifier l’affichage de la différence
• Afficher côte à côte
• Afficher dans une vue unifiée
• Définir une référence
• Supprimer une référence
• Modifier l’ordre de comparaison
• Modifier le format d’affichage de la différence numérique
• Comparer avec la référence ou avec l’élément précédent
• Comparer une paire issue d’une comparaison multi-objets
• Retirer un objet de la comparaison

​

Afficher la synthèse

Par défaut, la comparaison des objets sélectionnés s’affiche sous forme de synthèse. Cette synthèse présente un aperçu de l’entrée et de la sortie du LLM, ainsi que les jetons, le coût et la latence. Pour les traces, la barre colorée affichée en haut du tableau de comparaison reflète les types et couleurs personnalisés que vous avez appliqués à vos ops. Pour plus d’informations sur l’utilisation de cette visibilité améliorée, consultez Appliquer des types et des couleurs.

​

Afficher une vue des appels

Pour comparer les appels de chaque objet, sélectionnez Calls. Cette vue :

• Affiche l’arborescence de trace complète de l’appel.
• Propose une recherche textuelle de base en mémoire.
• Vous permet d’afficher ou de masquer la latence, le coût, les jetons, les types d’ops et le feedback de chaque appel.

​

Modifier l’affichage des différences

Par défaut, Diff only est désactivé. Pour filtrer les lignes du tableau et n’afficher que les lignes modifiées, activez Diff only. Diff only s’applique aux vues côte à côte et unifiée ; cette option est désactivée dans les autres vues.

​

Afficher côte à côte

Pour comparer les objets côte à côte dans des colonnes distinctes, sélectionnez Side-by-side.

​

Affichage dans une vue unifiée

Pour comparer deux objets dans une vue unifiée, sélectionnez Unified. Cette vue n’est pas disponible si vous comparez plus de deux objets.

​

Définir une référence

Par défaut, chaque objet de la vue de comparaison est comparé à l’objet situé à sa gauche. Vous pouvez toutefois définir un objet comme référence : tous les objets sont alors comparés à l’objet le plus à gauche de la vue. Utilisez une référence lorsque vous souhaitez comparer chaque objet à un point de repère unique, par exemple un run dont vous savez qu’il fonctionne correctement. Pour définir un objet comme référence :

1. Dans la barre de comparaison, survolez l’objet que vous souhaitez définir comme référence.
2. Cliquez sur le menu action () à droite de l’ID.
3. Dans la liste, sélectionnez Make baseline. L’interface s’actualise : l’objet de référence apparaît tout à gauche de la barre de comparaison, avec la mention Baseline à côté de son ID.

​

Supprimer une référence

Pour retirer un objet en tant que référence :

1. Dans la barre de comparaison, survolez l’objet de référence.
2. Cliquez sur le menu action () à droite de l’ID.
3. Dans la liste, sélectionnez Remove baseline. Baseline ne s’affiche plus à côté de l’ID de l’appel.

​

Modifier l’ordre de comparaison

Faites glisser les objets dans la barre de comparaison pour les réorganiser. Les colonnes correspondantes du tableau de comparaison sont réorganisées en conséquence. Pour modifier l’ordre de comparaison :

1. Dans la barre de comparaison, survolez l’ID que vous souhaitez déplacer.
2. Cliquez sur les six points situés à gauche de l’ID, maintenez le bouton enfoncé, puis faites glisser l’ID vers la gauche ou vers la droite selon vos besoins.
3. Déposez l’ID à la position souhaitée. Les données de comparaison sont actualisées selon le nouvel ordre.

​

Modifier le format d’affichage des différences numériques

Pour les valeurs numériques telles que completion_tokens et total_tokens, vous pouvez afficher la différence sous forme d’entier ou de pourcentage. Les valeurs numériques positives peuvent également s’afficher sous forme de multiplicateur. Pour modifier le format d’affichage d’une différence numérique :

1. Dans le tableau de comparaison, trouvez la valeur numérique dont vous souhaitez modifier le format d’affichage de la différence.
2. Cliquez sur la valeur de la différence. Le format bascule automatiquement entre entier et pourcentage.

​

Comparer avec la référence ou avec le précédent

Cette option n’est disponible que lorsque vous comparez au moins trois objets. Vous pouvez également définir une référence ou supprimer une référence existante. Pour comparer au moins trois objets par rapport à une référence :

1. Dans le coin supérieur droit de la vue de comparaison Side-by-side ou Unified, cliquez sur la liste. Selon la configuration actuelle de la vue, la liste s’intitule Compare with previous ou Compare with baseline.
2. Selon la configuration actuelle de la vue, sélectionnez Compare with previous ou Compare with baseline.
   • Compare with baseline : définit l’objet situé le plus à gauche comme référence. Le tableau est mis à jour pour que la colonne la plus à gauche corresponde à la référence.
   • Compare with previous : aucun objet n’est défini comme référence.

​

Comparer une paire au sein d’une comparaison multi-objets

Cette option n’est disponible que lorsque vous comparez au moins trois objets. Lorsque vous comparez au moins trois objets, vous pouvez comparer un objet donné à l’objet adjacent ou à une référence. La vue du tableau de comparaison devient alors identique à celle d’une comparaison entre deux objets. Pour comparer une paire d’objets au sein d’une comparaison multi-objets :

1. Dans la barre de comparaison, sélectionnez l’ID à comparer. Si vous avez défini une référence, la vue compare l’objet sélectionné à la référence. Sinon, elle le compare à l’ID situé immédiatement à sa gauche dans la barre de comparaison.
2. Pour sélectionner l’élément, cliquez sur l’ID. L’interface s’actualise et affiche un tableau de comparaison entre deux objets.

Pour réinitialiser la vue et afficher dans le tableau les six premiers objets sélectionnés pour la comparaison, cliquez de nouveau sur l’ID.

​

Retirer un objet de la comparaison

Cette option n’est disponible que lorsque vous comparez au moins trois objets. Pour retirer un objet de la comparaison :

1. Dans la barre de comparaison, trouvez l’objet que vous souhaitez retirer de la comparaison.
2. Cliquez sur le menu action () à droite de l’ID.
3. Dans la liste, sélectionnez Remove object from comparison. L’interface s’actualise et affiche un tableau mis à jour qui n’inclut plus l’objet retiré.

​

Remarques sur l’utilisation

Les remarques suivantes décrivent les limites et le comportement de la fonctionnalité de comparaison :

• La fonctionnalité de comparaison n’est disponible que dans l’interface utilisateur.
• Vous pouvez comparer autant d’objets que vous le souhaitez, mais l’interface utilisateur en affiche six au maximum. Lorsque vous comparez plus de six objets, certains ne sont pas visibles dans le tableau de comparaison. Pour afficher l’un d’eux, vous pouvez soit modifier l’ordre de comparaison afin qu’il figure parmi les six premiers de gauche à droite, soit le comparer par paire à partir d’une comparaison multi-objets.