Comparer les performances des modèles avec le playground d’évaluation

​

Configurer une évaluation dans le playground

1. Ouvrez l’interface utilisateur de Weights & Biases, puis ouvrez le projet dans lequel vous souhaitez effectuer l’évaluation. La page Traces s’affiche.
2. Depuis la page Traces, cliquez sur l’icône Playground dans le menu de gauche, puis sélectionnez l’onglet Evaluate sur la page Playground. Sur la page Evaluate, vous avez deux possibilités :
   • Load a demo example : charge une configuration prédéfinie qui évalue le modèle MoonshotAI Kimi K2 par rapport à la sortie attendue et utilise un juge LLM pour déterminer l’exactitude de ses réponses. Vous pouvez utiliser cette configuration pour vous familiariser avec l’interface.
   • Start from scratch : charge une configuration vierge que vous pouvez compléter.
3. Si vous avez sélectionné Start from scratch, saisissez un titre et une description explicites pour votre évaluation dans les champs Title et Description.

​

Ajouter un dataset

• .csv
• .tsv
• .json
• .jsonl

1. Cliquez sur le menu déroulant, puis sélectionnez l’une des options suivantes :
   • Start from scratch pour créer un nouveau dataset dans l’interface utilisateur.
   • Upload a file pour téléverser un dataset depuis votre machine locale.
   • Un dataset déjà enregistré dans votre projet.
2. Facultatif : cliquez sur Save pour enregistrer le dataset dans votre projet afin de le réutiliser ultérieurement.

​

Ajouter un modèle

1. Cliquez sur Add Model, puis sélectionnez New Model ou un modèle existant dans le menu déroulant.
2. Si vous avez sélectionné New Model, configurez les champs suivants :
   • Name : attribuez un nom descriptif à votre nouveau modèle.
   • LLM Model : sélectionnez le modèle de fondation sur lequel reposera votre nouveau modèle, par exemple GPT-4 d’OpenAI. Vous pouvez choisir parmi les modèles de fondation auxquels vous avez déjà configuré l’accès, ou ajouter l’accès à un modèle de fondation en sélectionnant Add AI provider, puis un modèle. Lorsque vous ajoutez un fournisseur, vous êtes invité à saisir vos identifiants d’authentification pour ce fournisseur. Consultez la documentation de votre fournisseur pour savoir où trouver votre clé API, vos points de terminaison et toute autre information de configuration nécessaire pour accéder au modèle avec Weave.
   • System Prompt : indiquez au modèle comment il doit se comporter, par exemple You are a helpful assistant specializing in Python programming. Le user_input de votre dataset est envoyé dans un message ultérieur ; il est donc inutile de l’inclure dans le prompt système.
   Si vous choisissez un modèle existant, un nouveau champ apparaît à côté du nom du modèle pour vous permettre d’en sélectionner une version ; aucun autre champ n’est à configurer. Pour modifier votre modèle existant avant ou après l’évaluation, utilisez le Prompt Playground.
3. Facultatif : cliquez sur Save pour enregistrer le modèle dans votre projet afin de le réutiliser ultérieurement.
4. Facultatif : pour évaluer plusieurs modèles simultanément, cliquez à nouveau sur Add Model et ajoutez d’autres modèles selon vos besoins.

​

Ajouter des évaluateurs

1. Cliquez sur Add Scorer, puis configurez les champs suivants :
   • Name : attribuez un nom descriptif à votre évaluateur.
   • Type : sélectionnez le format des scores renvoyés, booléen ou numérique. Les évaluateurs booléens renvoient une valeur binaire True ou False selon que la sortie du modèle satisfait ou non les critères d’évaluation que vous avez définis. Les évaluateurs numériques renvoient un score compris entre 0 et 1, qui donne une note globale indiquant dans quelle mesure la sortie du modèle satisfait vos critères d’évaluation.
   • LLM-as-a-judge-model : sélectionnez le modèle de fondation qui servira de juge à l’évaluateur. Comme pour le champ LLM Model de la section Models, vous pouvez choisir parmi les modèles de fondation auxquels vous avez déjà configuré l’accès, ou configurer l’accès à de nouveaux modèles de fondation.
   • Scoring Prompt : fournissez au juge LLM les critères permettant d’évaluer la sortie. Par exemple, pour détecter les hallucinations, saisissez un prompt d’évaluation semblable à celui-ci :
     Given the following context and answer, determine if the answer contains any information not supported by the context.
     
     User input: {user_input}
     Expected output: {expected_output}
     Model Output: {output}
     
     Is the model output correct?
     
     Vous pouvez utiliser les champs de vos datasets et de vos réponses comme variables dans le prompt d’évaluation, par exemple {user_input}, {expected_output} et {output}. Pour afficher la liste des variables disponibles, cliquez sur Insert variable dans l’interface utilisateur.
2. Facultatif : cliquez sur Save pour enregistrer l’évaluateur dans votre projet afin de le réutiliser ultérieurement.

​

Exécuter l’évaluation

• Pour exécuter l’évaluation dans le playground d’évaluation, cliquez sur Run eval.

​

Examiner les résultats d’évaluation