Testez les modèles OpenAI dans Weave sans aucune configuration grâce au LLM Playground.
Traçage
Stocker les traces des applications LLM dans une base de données centralisée est utile aussi bien pendant le développement qu’en production. Utilisez ces traces pour le débogage et pour constituer un jeu de données d’exemples difficiles sur lesquels évaluer votre application au fil de vos améliorations. Weave peut capturer automatiquement les traces de la bibliothèque Pythonopenai.
Pour commencer la capture, appelez weave.init("[PROJECT_NAME]") avec le nom de projet de votre choix. Weave patche automatiquement OpenAI, quel que soit le moment où vous l’importez : tous les appels OpenAI ultérieurs sont donc tracés.
Si vous ne spécifiez pas d’équipe CoreWeave Forge lors de l’appel à weave.init(), Weave utilise votre entity par défaut. Pour trouver ou modifier votre entity par défaut, reportez-vous à la section Paramètres utilisateur de la documentation Weights & Biases Models.
Patching automatique
Weave patche automatiquement OpenAI, que vous l’importiez avant ou aprèsweave.init(). L’exemple suivant présente la configuration minimale requise pour commencer à tracer les appels :
Facultatif : patching explicite
Pour contrôler précisément le moment où le patching prend effet, appliquez explicitement un patch à OpenAI plutôt que de vous fier au comportement automatique :Sorties structurées
Weave prend en charge le traçage des sorties structurées d’OpenAI, utiles lorsque vous devez garantir que les réponses de votre LLM respectent un format précis. L’exemple suivant trace un appel qui extrait un objet typéUserDetail d’un message utilisateur :
Prise en charge asynchrone
Weave prend en charge le traçage des appels OpenAI asynchrones : les applications qui utilisentAsyncOpenAI bénéficient ainsi de la même visibilité que les applications synchrones.
Prise en charge du streaming
Weave prend en charge le traçage des réponses en streaming d’OpenAI. La trace capturée reflète l’intégralité de la complétion diffusée en streaming, ce qui vous permet d’examiner la sortie finale en regard des paramètres de la requête.Traçage des appels de fonction
Weave trace les appels de fonction effectués par OpenAI lorsque vous utilisez des outils, ce qui vous permet de comprendre comment le modèle a appelé chaque outil et avec quels arguments.API Batch
Weave prend en charge l’API Batch d’OpenAI, qui vous permet de traiter plusieurs requêtes de manière asynchrone, tandis que Weave continue de capturer chaque requête dans vos traces.API Assistants
Weave prend en charge l’API Assistants d’OpenAI, ce qui vous permet de tracer les applications d’IA conversationnelle construites autour d’assistants, de threads et de runs.Suivi des coûts
Weave suit automatiquement le coût de vos appels d’API OpenAI afin que vous puissiez surveiller vos dépenses en parallèle des performances. Vous pouvez consulter la répartition des coûts dans l’interface de Weights & Biases.Le suivi des coûts est disponible pour tous les modèles OpenAI. Weave calcule les coûts en se basant sur la tarification publiée par OpenAI.
Traçage de fonctions personnalisées
Pour regrouper les appels OpenAI au sein de la logique de votre propre application, tracez les fonctions personnalisées qui utilisent OpenAI en leur appliquant le décorateur@weave.op. Vous obtenez ainsi une trace parente pour la fonction, dans laquelle sont imbriqués les appels OpenAI sous-jacents.
Étapes suivantes
Maintenant que le traçage est configuré pour OpenAI, les appels de votre application sont visibles dans Weave. Vous pouvez désormais :- Afficher les traces dans l’interface Weights & Biases : accédez à votre projet Weave pour consulter les traces de vos appels OpenAI.
- Créer des évaluations : utilisez vos traces pour constituer des jeux de données d’évaluation.
- Surveiller les performances : suivez la latence, les coûts et d’autres métriques.
- Déboguer les problèmes : utilisez les traces pour comprendre le comportement de votre application LLM.