Configurer des files d’annotation

​

Aperçu

• Notation manuelle des traces : demandez à des experts métier d’évaluer les sorties du modèle selon leur exactitude, leur qualité ou leur style.
• Analyse des défaillances : annotez les modes de défaillance (hallucinations, refus, boucles) pour identifier les points faibles de votre modèle.
• Revue par des experts métier : permettez à des experts médicaux, juridiques ou en sécurité d’examiner du contenu dans une interface centrée sur la tâche à accomplir.
• Création de datasets : transformez les traces annotées en datasets d’évaluation ou d’entraînement.

​

Flux de travail de bout en bout

1. Définissez les champs d’annotation.
2. Créez une file d’annotation.
3. Chargez des traces dans la file pour les soumettre à la revue.
4. Suivez l’avancement pendant que les experts métier effectuent les revues.
5. Filtrez et exportez les annotations terminées.

​

Définir des champs d’annotation

• Des jugements booléens, comme l’exactitude ou l’acceptabilité.
• Des valeurs numériques ou entières, comme la qualité ou le niveau de confiance.
• Des étiquettes catégorielles, comme le mode de défaillance ou l’intention.
• Du texte libre pour un feedback qualitatif.

1. Accédez à Forge et sélectionnez votre projet.
2. Dans la barre latérale du projet Weave, cliquez sur Annotate. Si Annotate n’apparaît pas, il se trouve peut-être dans le menu More.
3. Dans la barre d’onglets, cliquez sur l’onglet Fields.
4. Dans la barre d’outils du tableau Fields, cliquez sur New Field.
5. Dans la boîte de dialogue modale Create annotation field, configurez les éléments suivants :
   • Type : Boolean, Integer, Number, String ou options catégorielles.
   • Name : nom du champ affiché à l’annotateur.
   • Description (facultatif) : indications affichées à l’annotateur pour évaluer ce champ.
6. Cliquez sur Create annotation field pour enregistrer le champ.

​

Créer une file d’annotation

• Un ensemble de champs d’annotation.
• Des consignes qui indiquent aux annotateurs la tâche à accomplir.
• Une collection d’éléments de trace en attente de révision.

1. Dans la barre latérale du projet Weave, cliquez sur Annotate.
2. Dans la barre d’onglets, cliquez sur l’onglet Queues.
3. Dans la barre d’outils du tableau Queues, cliquez sur Create Queue.
4. Dans la boîte de dialogue modale Create Annotation Queue, configurez les options suivantes :
   • Queue name : nom de la file que l’annotateur sélectionne pour effectuer son travail.
   • Guidelines (facultatif) : instructions supplémentaires destinées à l’annotateur.
5. Cliquez sur Next.
6. Cliquez sur Manage fields et choisissez les champs d’annotation à inclure dans ce travail de révision. Vous pouvez sélectionner n’importe quel champ d’annotation existant du projet.
7. Après avoir sélectionné tous les champs de la file, cliquez sur Create Queue pour enregistrer la file.

​

Ajouter des traces à une file d’annotation

1. Dans la barre latérale du projet Weave, cliquez sur Traces.
2. Dans la barre d’outils du tableau Traces, filtrez les traces selon vos besoins (par exemple par scores d’hallucination, par modes de défaillance ou par ops spécifiques).
3. Dans le tableau, sélectionnez les traces à faire annoter.
4. Dans la barre d’actions du tableau, cliquez sur Add to queue pour ajouter les lignes sélectionnées à une file d’annotation.

5. Dans la boîte de dialogue modale Add to annotation queue, configurez les options suivantes :
   • Queue Name : dans la liste, sélectionnez le nom de la file existante à laquelle ajouter ces traces.
   • Select trace data to display : sélectionnez les éléments de données de trace Weave à présenter à l’annotateur pendant qu’il évalue les résultats.
     • Inputs : sélectionnez les champs d’entrée de la trace à afficher pendant l’annotation.
     • Outputs : sélectionnez les champs de sortie de la trace à afficher pendant l’annotation.
6. Cliquez sur Add [COUNT] traces to annotation queue pour attribuer ces traces à la file d’annotation en vue de leur examen.

​

Suivre l’avancement de la révision

1. Dans la barre latérale du projet Weave, cliquez sur Annotate.
2. Dans la barre d’onglets, cliquez sur l’onglet Queues.
3. Dans le tableau Annotation Queues, cliquez sur le nom de votre file pour afficher ses éléments.
4. Dans la barre d’en-tête de la file, cliquez sur le bouton de lien pour copier un lien direct vers cette file. Vous pouvez également copier l’URL depuis la barre d’adresse du navigateur.

• Not started : la file contient des éléments, mais aucune annotation n’a encore été soumise.
• In progress : au moins un élément a été révisé.
• Completed : tous les éléments ont été révisés.

​

Filtrer et exporter les annotations

• Filtrer les traces selon leur attribution à une file d’attente et l’état d’avancement de leur annotation.
• Enregistrer des vues filtrées pour les réutiliser.
• Exporter les traces annotées vers des datasets pour vos flux de travail d’évaluation ou d’entraînement.

​

Filtrer les traces annotées

1. Dans la barre latérale du projet Weave, cliquez sur Traces.
2. Dans la barre d’outils du tableau Traces, cliquez sur Filter.
3. Renseignez trois valeurs dans une ligne de filtre :
   • Pour Column, saisissez « Queue », puis appuyez sur Entrée.
   • Dans la deuxième liste, choisissez Text: “is”.
   • Pour Select a queue, choisissez le nom de votre file d’annotation.
4. Pour ne conserver que les éléments de file d’attente « terminés », cliquez sur + Add Filter :
   • Pour Column, saisissez « feedback ». Une boîte de dialogue s’affiche avec les annotations, notamment les noms de vos champs d’annotation. Choisissez un champ requis de votre file d’attente.
   • Dans la deuxième liste, choisissez Other: “is not empty”.

5. Les lignes de filtre s’appliquent automatiquement. Cliquez ailleurs sur la page pour fermer l’entrée de filtre.
6. Facultatif : enregistrez le filtre en tant que vue pour y accéder rapidement. Dans l’en-tête du tableau Traces, cliquez sur Save View.

​

Exporter les traces annotées vers des datasets

​

Ajouter des traces annotées à un dataset

1. Dans la barre latérale du projet Weave, cliquez sur Traces.
2. Dans le tableau Traces, sélectionnez les traces à exporter.
3. Dans la barre d’outils du tableau, cliquez sur Add to dataset. Suivez les instructions à l’écran pour terminer l’ajout.

​

Accéder aux annotations par programmation

• Projet : le nom du projet Weights & Biases (sous la forme project ou team/project). Si vous ne précisez pas d’équipe CoreWeave Forge (par exemple, « team/project »), votre équipe par défaut est utilisée.
• ID de file : l’identifiant unique de la file d’annotation.

1. Dans le tableau Annotation Queues, sélectionnez le nom de la file pour afficher ses éléments.
2. Copiez l’ID situé à la fin de l’URL de la page.

https://wandb.ai/.../annotation-queues/019c0f63-7acb-7497-8f87-08873368fcd4

import weave
from weave.trace_server.trace_server_interface import AnnotationQueueItemsQueryReq

# Remplacez les identifiants du projet et de la file d'attente par vos propres valeurs.
PROJECT = "your-team-name/your-project-name"
QUEUE_ID = "019c0f63-7acb-7497-8f87-08873368fcd4"

# Initialiser Weave.
client = weave.init(PROJECT)

# Récupérer les ID des appels d'une file d'attente.
calls = client.server.annotation_queue_items_query(
    AnnotationQueueItemsQueryReq(
        project_id=PROJECT,
        queue_id=QUEUE_ID,
    )
)

# Parcourir les appels et récupérer leur feedback.
for i, item in enumerate(calls.items):
    call = client.get_call(call_id=item.call_id, include_feedback=True)
    feedback = call.feedback or {}

    # Compter le nombre total d'éléments de feedback de l'appel.
    total_feedback_items = len(feedback)

    print(f"\nItem {i}, call_id: {item.call_id}, total feedback items: {total_feedback_items}")

    if not feedback:
        print("No feedback for item")
        continue

    # Récupérer la première valeur d'annotation. 
    # Les annotations de champ ne sont pas ajoutées dans un ordre reproductible : le premier champ peut donc varier.
    field_name = next(iter(feedback))
    field_value = feedback[0]

    print(f"  {field_name}: {field_value}")