Utiliser le Playground pour expérimenter avec des prompts

Évaluer les prompts et les réponses des LLM n’est pas chose facile. Le Weave Playground simplifie l’itération sur les prompts et les réponses des LLM et vous permet d’expérimenter avec différents modèles et prompts. Grâce à des fonctionnalités telles que la modification des prompts, la relance des messages et la comparaison de modèles, le Playground vous aide à tester et à améliorer vos applications LLM. Le Playground s’adresse aux développeurs et aux prompt engineers qui souhaitent tester, comparer et affiner des prompts LLM avant de les intégrer dans des applications. Le Playground prend en charge les modèles de fournisseurs tels qu’OpenAI, Anthropic et Google, ainsi que les environnements d’exécution personnalisés.

• Accès rapide : ouvrez le Playground depuis le menu latéral de Weave pour démarrer une nouvelle session, ou depuis la page Call pour tester un projet existant.
• Contrôle des messages : modifiez, relancez ou supprimez des messages directement dans le chat.
• Messagerie flexible : ajoutez de nouveaux messages en tant qu’entrées utilisateur ou système, puis envoyez-les au LLM.
• Paramètres personnalisables : configurez votre fournisseur de LLM préféré et ajustez les paramètres du modèle.
• Prise en charge de plusieurs LLM : passez d’un modèle à l’autre, avec une gestion des clés API au niveau de l’équipe.
• Comparaison de modèles : comparez la façon dont différents modèles répondent aux prompts.
• Environnements d’exécution personnalisés : testez des points de terminaison d’API compatibles avec OpenAI pour des modèles personnalisés.
• Modèles enregistrés : créez et configurez un préréglage de modèle réutilisable pour votre flux de travail.

Prenez en main le Playground pour optimiser vos interactions avec les LLM et rationaliser votre processus d’ingénierie de prompts ainsi que le développement de vos applications LLM. Les sections suivantes décrivent comment configurer et utiliser le Playground :

• Ajouter les identifiants et les informations du fournisseur
• Accéder au Playground
• Sélectionner un LLM
• Personnaliser les paramètres du Playground
• Contrôle des messages
• Comparer des LLM
• Environnements d’exécution personnalisés
• Modèles enregistrés

​

Ajouter les identifiants d’authentification et les informations des fournisseurs

Avant de pouvoir utiliser Playground, vous devez ajouter les identifiants d’authentification des fournisseurs afin que Playground puisse authentifier en votre nom les requêtes envoyées à chaque fournisseur de modèles. Playground prend en charge les modèles de nombreux fournisseurs. Pour utiliser l’un des modèles disponibles, ajoutez les informations requises aux secrets de votre équipe dans les paramètres W&B.

• Amazon Bedrock :
  • AWS_ACCESS_KEY_ID
  • AWS_SECRET_ACCESS_KEY
  • AWS_REGION_NAME
• Anthropic : ANTHROPIC_API_KEY
• Azure :
  • AZURE_API_KEY
  • AZURE_API_BASE
  • AZURE_API_VERSION
• Deepseek : DEEPSEEK_API_KEY
• Google : GEMINI_API_KEY
• Groq : GROQ_API_KEY
• Mistral : MISTRAL_API_KEY
• OpenAI : OPENAI_API_KEY
• X.AI : XAI_API_KEY

​

Accéder au Playground

Vous pouvez accéder au Playground de deux manières :

1. Ouvrir une nouvelle page Playground avec un prompt système par défaut : dans la barre latérale d’un projet Weave, sélectionnez Playground. Le Playground s’ouvre dans le même onglet.
2. Ouvrir le Playground pour un appel précis :
   1. Dans la barre latérale, sélectionnez l’onglet Traces. La liste des traces s’affiche.
   2. Dans cette liste, cliquez sur le nom de l’appel à consulter. La page de détails de l’appel s’ouvre.
   3. Cliquez sur Open chat in Playground. Le Playground s’ouvre dans un nouvel onglet.

​

Sélectionner un LLM

Vous pouvez changer de LLM à l’aide du menu déroulant Select a model situé dans l’en-tête du prompt (en haut du panneau principal du Playground). Les fournisseurs suivants sont disponibles :

• Amazon Bedrock
• Anthropic
• Azure
• Deepseek
• Google
• Groq
• Mistral
• OpenAI
• X.AI

Les modèles disponibles dépendent des fournisseurs configurés pour votre équipe.

​

Personnaliser les paramètres du Playground

Vous pouvez ajuster les paramètres du modèle sélectionné et ajouter des fonctions que le modèle pourra appeler. Les sections suivantes expliquent comment personnaliser les paramètres du Playground.

​

Ajuster les paramètres du LLM

Vous pouvez tester différentes valeurs de paramètres pour le modèle sélectionné. Pour ajuster les paramètres dans le Playground, procédez comme suit :

1. Dans l’en-tête du prompt (en haut du panneau principal), cliquez sur le bouton Paramètres du chat () pour ouvrir le panneau Paramètres du chat.
2. Dans le panneau Paramètres du chat, ajustez les paramètres selon vos besoins. Vous pouvez également activer ou désactiver le suivi des appels Weave et ajouter une fonction.
3. Les modifications s’appliquent automatiquement. Pour fermer le panneau, cliquez de nouveau sur Paramètres du chat ou sur le x dans le coin supérieur droit. Le texte qui s’affiche au survol du bouton Paramètres du chat indique les paramètres que vous avez modifiés.

Le Playground vous permet de générer plusieurs sorties pour une même entrée en définissant le nombre d’essais. La valeur par défaut est 1. Pour modifier le nombre d’essais, ouvrez le panneau Paramètres du chat et ajustez le paramètre Number of trials.

​

Ajouter une fonction

Vous pouvez tester la façon dont différents modèles utilisent des fonctions en se basant sur les entrées fournies par l’utilisateur. Pour ajouter une fonction à tester dans le Playground, cliquez sur + Add function dans le panneau Paramètres du chat. Suivez les instructions à l’écran pour définir la fonction, puis enregistrez vos modifications.

​

Contrôle des messages

L’interface de chat du Playground s’organise en trois zones : la zone de définition du prompt, le panneau des messages et le champ de saisie des messages. Les sections suivantes décrivent chacune de ces zones.

​

Zone de définition du prompt

La Prompt definition area vous permet de définir les instructions qui orientent le comportement du modèle tout au long d’une interaction. Utilisez cette zone pour fournir un contexte qui s’applique de manière cohérente avant tout échange de messages : définition du rôle, consignes de ton et de style, contraintes de comportement et exigences relatives à la sortie. Les modifications apportées ici s’appliquent à toutes les interactions suivantes, jusqu’à ce que vous les changiez. Elle comprend les éléments suivants :

• Prompt selector : sélectionnez un prompt enregistré existant ou créez-en un nouveau.
• Message role selector : indiquez le rôle du message en cours de définition (rôle System, Assistant ou User).
• Prompt text : saisissez le texte d’instruction qui détermine la manière dont le modèle répond.
• Bouton Add message : permet d’ajouter des messages supplémentaires au contexte du prompt avant l’exécution.

Ces messages sont envoyés ensemble au modèle, et vous pouvez les utiliser pour :

• ajouter des instructions complémentaires au niveau système ;
• fournir des exemples de messages de l’assistant pour orienter les réponses (par exemple, en few-shot prompting) ;
• prédéfinir des messages de l’utilisateur afin de tester des scénarios précis.

​

Panneau Messages

Le panneau Messages affiche la conversation générée pendant l’exécution. Il contient :

• Les éventuels messages prédéfinis inclus dans la configuration du prompt.
• Les messages envoyés depuis le champ de saisie des messages.
• Les réponses renvoyées par le modèle.

Dans ce panneau, vous pouvez également copier (Copy), supprimer (Delete), modifier (Edit) et relancer (Retry) les messages.

​

Champ de saisie des messages (Message composer)

Utilisez le champ de saisie des messages pour envoyer de nouveaux messages au modèle. Il permet de sélectionner le rôle du message et de soumettre les messages pour exécution. La plupart des interactions sont rédigées sous forme de messages User. Vous pouvez ajouter des messages System ou Assistant pour tester des modifications d’instructions.

​

Afficher l’historique des messages

Pour afficher l’historique des messages, cliquez sur le bouton History () dans la barre d’outils située à droite du Playground. Un panneau History s’ouvre et affiche tous les messages envoyés dans le projet en cours. Sélectionnez un élément de l’historique pour le charger dans un panneau de chat supplémentaire et le comparer.

​

Comparer des LLM

Playground vous permet de comparer des LLM côte à côte afin d’évaluer la manière dont différents modèles répondent aux mêmes prompts. Pour effectuer une comparaison, cliquez sur le bouton Add Chat () dans la barre d’outils située à droite de Playground. Un second chat s’ouvre à côté du chat d’origine. Ce second chat offre les mêmes fonctionnalités que le chat d’origine, comme le choix du modèle, le réglage des paramètres et l’ajout de fonctions.

​

Environnements d’exécution personnalisés

Outre les fournisseurs intégrés, le Playground prend en charge les environnements d’exécution personnalisés : des points de terminaison d’API compatibles avec OpenAI que vous enregistrez dans votre projet. Les environnements d’exécution personnalisés s’appelaient auparavant fournisseurs personnalisés. Utilisez un environnement d’exécution personnalisé pour tester des modèles tels qu’un prototype d’agent servi par votre équipe, un modèle local ou une ancienne version du modèle d’un fournisseur pris en charge. Pour enregistrer un environnement d’exécution personnalisé dans l’interface utilisateur ou avec le SDK Python, consultez Environnements d’exécution personnalisés. Une fois l’environnement d’exécution personnalisé enregistré, sélectionnez ses modèles dans la liste déroulante Select a model, puis testez-les à l’aide des fonctionnalités standard du Playground.

​

Utiliser un modèle local comme environnement d’exécution personnalisé

Pour tester dans le Playground un modèle exécuté localement, utilisez ngrok et Ollama afin de créer une URL publique temporaire qui contourne les restrictions CORS. Le Playground peut ainsi accéder à un modèle exécuté sur votre propre machine sans enfreindre les politiques de sécurité du navigateur. Pour procéder à la configuration, suivez ces étapes :

1. Installez ngrok pour votre système d’exploitation.
2. Démarrez votre modèle Ollama. Remplacez [MODEL] par le nom du modèle Ollama que vous souhaitez exécuter.
   ollama run [MODEL]
   
3. Dans un autre terminal, créez un tunnel ngrok avec les en-têtes CORS requis :
   ngrok http 11434 --response-header-add "Access-Control-Allow-Origin: *" --host-header rewrite
   
4. Une fois démarré, ngrok affiche une URL publique, par exemple https://xxxx-xxxx.ngrok-free.app. Utilisez cette URL comme Base URL lorsque vous enregistrez un environnement d’exécution personnalisé.

Le diagramme suivant illustre le flux de données entre votre environnement local, le proxy ngrok et les services cloud de W&B :

​

Modèles enregistrés

Les modèles enregistrés vous permettent de conserver un fournisseur, un modèle, des paramètres et des hooks de fonction sous la forme d’un préréglage réutilisable. Les sections suivantes expliquent comment enregistrer, utiliser et mettre à jour un modèle.

​

Enregistrer un modèle

Vous pouvez créer et configurer un préréglage de modèle réutilisable pour votre flux de travail. Une fois le modèle enregistré, vous pouvez le charger rapidement avec vos réglages, paramètres et hooks de fonction préférés.

1. Dans l’en-tête du prompt (en haut du panneau principal), dans la liste déroulante Select a model, sélectionnez un fournisseur et un modèle.
2. Dans l’en-tête du prompt, cliquez sur le bouton Paramètres du chat () pour ouvrir le panneau Paramètres du chat.
3. Dans le panneau Paramètres du chat :
   • Model Name (requis) : saisissez un nom pour votre modèle enregistré.
   • Ajustez les paramètres selon vos besoins. Vous pouvez également activer ou désactiver le suivi des appels Weave et ajouter une fonction.
4. Cliquez sur Publish model. Le modèle est enregistré et accessible depuis Saved Models dans la liste déroulante Select a model. Vous pouvez ensuite utiliser et mettre à jour le modèle enregistré.

​

Utiliser un modèle enregistré

Passez à un modèle enregistré précédemment pour garantir la cohérence entre vos expériences ou vos sessions. Vous pouvez ainsi reprendre là où vous vous étiez arrêté.

1. Dans l’en-tête du prompt, dans la liste déroulante Select a model, sélectionnez Saved Models.
2. Dans la liste des modèles enregistrés, sélectionnez celui que vous souhaitez charger. Le modèle est alors chargé et prêt à être utilisé dans le Playground.

​

Mettre à jour un modèle enregistré

Modifiez un modèle enregistré existant pour affiner ses paramètres ou actualiser sa configuration. Vos modèles enregistrés évoluent ainsi au rythme de vos cas d’usage.

1. Dans l’en-tête du prompt, dans la liste déroulante Select a model, sélectionnez Saved Models.
2. Dans la liste des modèles enregistrés, sélectionnez celui que vous souhaitez mettre à jour.
3. Dans l’en-tête du prompt, cliquez sur le bouton Paramètres du chat () pour ouvrir le panneau Paramètres du chat.
4. Dans le panneau Paramètres du chat, ajustez les paramètres selon vos besoins. Vous pouvez également activer ou désactiver le suivi des appels Weave et ajouter une fonction.
5. Cliquez sur Update model. Le modèle est alors mis à jour et devient accessible depuis Saved Models dans la liste déroulante Select a model. La version de votre modèle enregistré est incrémentée automatiquement.