Configurer des moniteurs personnalisés

​

Signaux et moniteurs personnalisés

​

Créer un moniteur dans Weave

1. Ouvrez l’interface utilisateur de Weights & Biases, puis ouvrez votre projet Weights & Biases.
2. Dans la barre latérale de Weave, sélectionnez Moniteurs, puis cliquez sur le bouton + New Moniteur. La boîte de dialogue modale Create new moniteur s’ouvre.
3. Dans le menu Create new moniteur, configurez les champs suivants :
   • Name : doit commencer par une lettre ou un chiffre. Peut contenir des lettres, des chiffres, des traits d’union et des caractères de soulignement.
   • Description (facultatif) : décrivez le rôle du moniteur.
   • Bouton bascule Active moniteur : activez ou désactivez le moniteur.
   • Calls to moniteur :
     • Operations : choisissez un ou plusieurs @weave.op à surveiller. Vous devez journaliser au moins une trace utilisant l’op pour qu’il apparaisse dans la liste des ops disponibles.
     • Filter (facultatif) : restreignez les appels éligibles (par exemple, selon max_tokens ou top_p).
     • Sampling rate : le pourcentage d’appels à évaluer (de 0 % à 100 %).
       Un taux d’échantillonnage plus faible permet de réduire les coûts, puisque chaque appel d’évaluation est facturé.
   • LLM-as-a-judge configuration :
     • Scorer name : doit commencer par une lettre ou un chiffre. Peut contenir des lettres, des chiffres, des traits d’union et des caractères de soulignement.
     • Score Audio : filtre les modèles LLM disponibles pour n’afficher que ceux qui prennent en charge l’audio, et ouvre le champ Media Scoring JSON Paths.
     • Score Images : filtre les modèles LLM disponibles pour n’afficher que ceux qui prennent en charge les images, et ouvre le champ Media Scoring JSON Paths.
     • Judge model : sélectionnez le modèle chargé d’évaluer vos ops. Le menu contient les modèles LLM commerciaux que vous avez configurés dans votre compte CoreWeave Forge, ainsi que les modèles Serverless Inference. Les modèles prenant en charge l’audio affichent une étiquette Audio Input à côté de leur nom. Pour le modèle sélectionné, configurez les paramètres suivants :
       • Configuration name : un nom pour cette configuration de modèle.
       • System prompt : définit le rôle et la persona du modèle juge, par exemple « You are an impartial AI judge. »
       • Response format : le format dans lequel le juge produit sa réponse, par exemple json_object ou text brut.
       • Scoring prompt : la tâche d’évaluation appliquée à vos ops. Vous pouvez référencer des variables de prompt issues de vos ops dans vos prompts d’évaluation. Par exemple : « Évaluez si {output} est exact au regard de {ground_truth}. »
     • Media Scoring JSON Paths : spécifiez des expressions JSONPath (RFC 9535) pour extraire les médias de vos données de trace. Si vous ne spécifiez aucun chemin, le moniteur inclut tous les médias évaluables des messages utilisateur. Ce champ apparaît lorsque vous activez Score Audio ou Score Images.
4. Une fois les champs du moniteur configurés, sélectionnez Create moniteur. Le moniteur est alors ajouté à votre projet Weights & Biases. Dès que votre code commence à générer des traces, vous pouvez consulter les scores dans l’onglet Traces en sélectionnant le nom du moniteur, puis en examinant les données dans le panneau qui s’affiche.

​

Exemple : créer un moniteur de véracité

1. Définissez une fonction qui génère des affirmations, dont certaines sont vraies et d’autres non :

import weave
import random
import openai

weave.init("my-team/my-weave-project")

client = openai.OpenAI()

@weave.op()
def generate_statement(ground_truth: str) -> str:
    if random.random() < 0.5:
        response = client.chat.completions.create(
            model="gpt-4.1",
            messages=[
                {
                    "role": "user",
                    "content": f"Generate a statement that is incorrect based on this fact: {ground_truth}"
                }
            ]
        )
        return response.choices[0].message.content
    else:
        return ground_truth

generate_statement("The Earth revolves around the Sun.")

import * as weave from 'weave';
import OpenAI from 'openai';

await weave.init('my-team/my-weave-project');

const client = new OpenAI();

const generateStatement = weave.op(async (ground_truth: string): Promise<string> => {
  if (Math.random() < 0.5) {
    const response = await client.chat.completions.create({
      model: 'gpt-4.1',
      messages: [
        {
          role: 'user',
          content: `Generate a statement that is incorrect based on this fact: ${ground_truth}`,
        },
      ],
    });
    return response.choices[0]?.message?.content ?? '';
  }
  return ground_truth;
});

await generateStatement("The Earth revolves around the Sun.");

2. Exécutez la fonction au moins une fois pour journaliser une trace dans votre projet. L’op pourra ainsi être surveillé dans l’interface Weights & Biases.
3. Ouvrez votre projet dans l’interface Weights & Biases et sélectionnez Monitors dans la barre latérale, puis New Monitor.
4. Dans le menu Create new monitor, renseignez les champs avec les valeurs suivantes :
   • Name : truthfulness-monitor
   • Description : Evaluates the truthfulness of generated statements.
   • Active monitor : basculez sur on.
   • Operations : sélectionnez generate_statement.
   • Sampling rate : définissez la valeur sur 100% pour évaluer chaque appel.
   • Scorer name : truthfulness-scorer
   • Judge model : o3-mini-2025-01-31
   • System prompt : You are an impartial AI judge. Your task is to evaluate the truthfulness of statements.
   • Response format : json_object
   • Scoring prompt :
     Evaluate whether the output statement is accurate based on the input statement.
     
     This is the input statement: {ground_truth}
     
     This is the output statement: {output}
     
     The response should be a JSON object with the following fields:
     - is_true: a boolean stating whether the output statement is true or false based on the input statement.
     - reasoning: your reasoning as to why the statement is true or false.
     
5. Sélectionnez Create monitor. Le moniteur est alors ajouté à votre projet Weave.
6. Dans votre script, appelez votre fonction avec des affirmations plus ou moins véridiques pour tester la fonction de score :

generate_statement("The Earth revolves around the Sun.")
generate_statement("Water freezes at 0 degrees Celsius.")
generate_statement("The Great Wall of China was built over several centuries.")

await generateStatement("The Earth revolves around the Sun.");
await generateStatement("Water freezes at 0 degrees Celsius.");
await generateStatement("The Great Wall of China was built over several centuries.");

7. Après avoir exécuté le script avec plusieurs affirmations différentes, ouvrez l’interface Weights & Biases et accédez à l’onglet Traces. Sélectionnez une trace LLMAsAJudgeScorer.score pour afficher les résultats.