Les files d’attente d’annotation offrent aux experts métier une interface de révision ciblée. Vous examinez un élément à la fois, analysez le contexte fourni et soumettez des commentaires structurés à l’aide de champs prédéfinis. En traitant une file d’attente jusqu’au bout, vous fournissez des évaluations d’expert que votre équipe peut exploiter pour évaluer et améliorer les sorties des LLM.
Il n’est pas nécessaire de comprendre le modèle sous-jacent ni le système de traçage pour effectuer les révisions. Des experts externes peuvent ainsi réviser les données sans connaître le contexte global du projet.
Flux de travail d’annotation
Cette section décrit de bout en bout le processus d’examen des éléments d’une file d’attente d’annotation partagée avec vous.
En tant qu’annotateur, votre tâche consiste à évaluer la précision des réponses du LLM. Weave enregistre votre feedback sous forme d’annotations associées aux données.
Pour examiner une file d’attente d’annotation :
- Ouvrez la file d’attente d’annotation partagée à l’aide du lien fourni par votre équipe.
- Examinez chaque élément. Vous pouvez à tout moment avancer ou revenir en arrière parmi les éléments de la file d’attente.
- Soumettez une annotation à l’aide des champs d’annotation fournis.
Weave enregistre automatiquement votre progression après la soumission de chaque élément. Si vous devez interrompre votre travail pour le reprendre plus tard, l’examen reprend automatiquement au premier élément non traité. Une fois tous les éléments examinés, le tableau File d’attente d’annotation indique que le travail est terminé.
Examiner un élément de la file d’attente
Cette section présente l’interface de révision et explique comment soumettre une annotation pour un seul élément de la file d’attente.
Pour chaque élément, l’interface de révision affiche deux volets :
- Un volet de trace, qui affiche le contexte d’entrée sélectionné (prompts, documents ou images, par exemple) ainsi que la réponse ou la décision correspondante du modèle.
- Un volet d’élément, qui contient un formulaire de saisie d’annotation composé de champs d’annotation.
Remplissez chaque champ d’annotation conformément aux instructions fournies pour la file d’attente, puis cliquez sur Submit and next pour enregistrer cet élément et passer au suivant.
Dans l’en-tête du volet de trace, vous pouvez cliquer sur le suffixe de l’ID de trace (par exemple, « b3ea ») pour ouvrir un panneau qui affiche les détails complets de la trace de l’appel. Vous pouvez y inspecter la trace, et consulter ou comparer l’annotation fournie.
Si vous soumettez un feedback pour un élément déjà examiné par quelqu’un d’autre, votre feedback est conservé en plus de celui de l’annotateur d’origine.
