Recueillir du feedback et utiliser des annotations

• Constituer des jeux de données d’évaluation pour le monitoring des performances.
• Identifier et résoudre les problèmes liés au contenu généré par les LLM.
• Rassembler des exemples pour des tâches avancées comme le fine-tuning.

• Fournir du feedback dans l’interface utilisateur
• Fournir du feedback via le SDK
• Ajouter des annotations humaines

​

Fournir du feedback dans l’interface utilisateur

​

Utiliser le panneau des détails de l’appel

1. Dans la barre latérale du projet Weave, accédez à Traces.
2. Trouvez la ligne correspondant à l’appel auquel vous souhaitez ajouter du feedback.
3. Cliquez sur le lien portant le nom de la trace pour ouvrir l’arborescence de trace et le panneau des détails de l’appel.
4. Dans la barre d’onglets des détails de l’appel, sélectionnez Feedback.
5. Ajoutez, affichez ou supprimez du feedback :
   • Ajoutez et affichez du feedback à l’aide des icônes situées dans le coin supérieur droit de la vue Feedback des détails de l’appel.
   • Affichez et supprimez du feedback depuis le tableau Feedback des détails de l’appel. Pour supprimer un feedback, cliquez sur l’icône de corbeille dans la dernière colonne à droite de la ligne de feedback concernée.

​

Utiliser les icônes de feedback

• Tableau des traces : dans la colonne Feedback de la ligne concernée du tableau Traces.
• Panneau des détails de l’appel : dans le coin supérieur droit de chaque panneau des détails de l’appel.

1. Cliquez sur l’icône emoji.
2. Ajoutez un pouce levé ou un pouce baissé, ou cliquez sur l’icône + pour afficher d’autres emojis.

1. Survolez la réaction emoji à supprimer.
2. Cliquez sur la réaction pour la supprimer.

Vous pouvez également supprimer un feedback depuis la colonne Feedback du panneau des détails de l’appel.

1. Cliquez sur l’icône en forme de bulle de commentaire.
2. Saisissez votre note dans la zone de texte. Une note de feedback peut contenir au maximum 1 024 caractères.
3. Pour enregistrer la note, appuyez sur la touche Enter. Vous pouvez ajouter d’autres notes.

​

Fournir du feedback via le SDK

​

Interroger le feedback d’un projet

• client.get_feedback() : renvoie l’ensemble du feedback d’un projet.
• client.get_feedback("[FEEDBACK-UUID]") : renvoie, sous forme de collection, l’objet de feedback désigné par [FEEDBACK-UUID].
• client.get_feedback(reaction="[REACTION-TYPE]") : renvoie tous les objets de feedback correspondant à un type de réaction donné.

• id : l’ID de l’objet de feedback.
• created_at : la date de création de l’objet de feedback.
• feedback_type : le type de feedback (réaction, note, personnalisé).
• payload : la charge utile du feedback.

import weave
client = weave.init('intro-example')

# Obtenir l'ensemble du feedback d'un projet
all_feedback = client.get_feedback()

# Récupérer un objet de feedback précis à partir de son id.
# L'API renvoie une collection, qui doit contenir au plus un élément.
one_feedback = client.get_feedback("[FEEDBACK-UUID]")[0]

# Trouver tous les objets de feedback ayant une réaction donnée. Vous pouvez spécifier offset et limit.
thumbs_up = client.get_feedback(reaction="👍", limit=10)

# Une fois les objets récupérés, afficher les détails de chaque objet de feedback.
for f in client.get_feedback():
    print(f.id)
    print(f.created_at)
    print(f.feedback_type)
    print(f.payload)

Cette fonctionnalité n'est pas encore disponible en TypeScript.

​

Ajouter du feedback à un Appel

• call.feedback.add_reaction("[REACTION-TYPE]") : ajoute l’une des valeurs [REACTION-TYPE] prises en charge (emojis), comme 👍.
• call.feedback.add_note("[NOTE]") : ajoute une note.
• call.feedback.add("[LABEL]", [OBJECT]) : ajoute un [OBJECT] de feedback personnalisé identifié par [LABEL].

import weave
client = weave.init('intro-example')

call = client.get_call("[CALL-UUID]")

# Ajout d’une réaction emoji
call.feedback.add_reaction("👍")

# Ajout d’une note
call.feedback.add_note("this is a note")

# Ajout de paires clé/valeur personnalisées.
# Le premier argument est une chaîne « type » définie par l’utilisateur.
# Le feedback doit être sérialisable en JSON et peser moins de 1 Ko une fois sérialisé.
call.feedback.add("correctness", { "value": 5 })

Cette fonctionnalité n’est pas encore disponible en TypeScript.

​

Récupérer l’UUID de l’Appel

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    # Effectuer une opération simple
    output = f"Processed {input_value}"
    # Obtenir l'ID de l'appel en cours
    current_call = weave.require_current_call()
    call_id = current_call.id
    return output, call_id

Cette fonctionnalité n'est pas encore disponible en TypeScript.

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    return f"Processed {input_value}"

# Exécuter l'opération, puis récupérer le résultat et l'ID de l'appel
result, call = simple_operation.call("example input")
call_id = call.id

Cette fonctionnalité n'est pas encore disponible en TypeScript.

​

Supprimer le feedback d’un Appel

call.feedback.purge("[FEEDBACK-UUID]")

Cette fonctionnalité n’est pas encore disponible en TypeScript.

​

Ajouter des annotations humaines

​

Créer un évaluateur d’annotation humaine dans l’interface utilisateur

1. Dans la barre latérale du projet, accédez à Assets.
2. Dans le panneau de navigation Assets, cliquez sur Scorers.
3. Dans l’en-tête du panneau Scorers, cliquez sur New scorer.
4. Dans la boîte de dialogue modale Create Scorer, renseignez les champs suivants :
   • Scorer type : Human annotation
   • Name
   • Description
   • Type, qui détermine le type de feedback à recueillir, par exemple boolean ou integer.
5. Cliquez sur Create scorer. Vous pouvez désormais utiliser votre évaluateur pour créer des annotations.

​

Utiliser l’évaluateur d’annotation humaine dans l’interface utilisateur

1. Dans la barre latérale du projet, accédez à Traces.
2. Repérez la ligne de l’appel auquel vous souhaitez ajouter une annotation humaine.
3. Cliquez sur le lien portant le nom de la trace pour ouvrir l’arborescence de trace et le panneau des détails de l’appel.
4. Dans le coin supérieur droit de la barre d’onglets des détails de l’appel, cliquez sur le bouton Show feedback. Les évaluateurs d’annotation humaine disponibles s’affichent dans un panneau Annotate.
5. Saisissez votre annotation.
6. Cliquez sur Save.
7. Dans la barre d’onglets du panneau des détails de l’appel, cliquez sur l’onglet Feedback pour afficher le tableau Feedback. La nouvelle annotation y apparaît. Vous pouvez également consulter les annotations dans la colonne Annotations du tableau Traces principal.

   Actualisez le tableau Traces pour afficher les informations les plus récentes.

​

Créer un évaluateur d’annotation humaine à l’aide de l’API

1. Importez la classe AnnotationSpec depuis weave.flow.annotation_spec.
2. Utilisez la méthode publish de weave pour créer l’évaluateur.

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

spec1 = AnnotationSpec(
  name="Temperature",
  description="The perceived temperature of the llm call",
  field_schema={
    "type": "number",
    "minimum": -1,
    "maximum": 1,
  }
)
spec2 = AnnotationSpec(
  name="Tone",
  description="The tone of the llm response",
  field_schema={
    "type": "string",
    "enum": ["Aggressive", "Neutral", "Polite", "N/A"],
  },
)
weave.publish(spec1, "temperature-scorer")
weave.publish(spec2, "tone-scorer")

Cette fonctionnalité n’est pas encore disponible en TypeScript.

​

Modifier un évaluateur d’annotation humaine à l’aide de l’API

Vous pouvez consulter l’historique des objets d’évaluateur d’annotation humaine dans l’onglet Scorers, sous Human annotations.

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

# créer une nouvelle version de l'évaluateur
spec1 = AnnotationSpec(
  name="Temperature",
  description="The perceived temperature of the llm call",
  field_schema={
    "type": "integer",  # <<- remplacer le type par integer
    "minimum": -1,
    "maximum": 1,
  }
)
weave.publish(spec1, "temperature-scorer")

Cette fonctionnalité n'est pas encore disponible en TypeScript.

​

Utiliser un évaluateur d’annotation humaine à l’aide de l’API

import weave

client = weave.init("feedback-example")

call = client.get_call("[CALL-ID]")
annotation_spec = weave.ref("[ANNOTATION-SPEC-REF-URI]")

call.feedback.add(
  feedback_type="wandb.annotation." + annotation_spec.name,
  payload={"value": 1},
  annotation_ref=annotation_spec.uri(),
)