Surveillez le trafic, les jetons, les erreurs et le coût des modèles à partir des traces attribuées aux projets.
Analytics lit les traces de projet canoniques directement depuis W&B, plutôt que de maintenir une base de données distincte d’événements de requête. Cette fonctionnalité vous permet de vérifier le déploiement progressif et d’estimer l’impact économique du remplacement d’un modèle.
Analytics utilise les coûts déclarés lorsqu’ils sont disponibles ; à défaut, il estime les coûts à partir des sources suivantes, dans cet ordre :
Un prix de modèle manuel configuré sur le fournisseur ou le modèle affiné.
La tarification de Serverless Inference pour un modèle hébergé ou pour le modèle de base d’un modèle affiné.
Le catalogue LiteLLM inclus, lorsqu’un modèle correspondant y est connu.
La page indique le pourcentage d’appels disposant d’informations de tarification suffisantes. Ne comparez des modèles que si leur couverture est similaire.Les comparaisons de coûts laissent inchangées les dépenses déclarées et appliquent les tarifs du modèle de comparaison aux nombres de jetons enregistrés. Les estimations fondées sur les prix catalogue conservent l’utilisation enregistrée du cache de prompts et appliquent la tarification d’entrée standard lorsqu’aucun tarif de cache n’est disponible. Les tarifs observés correspondent aux coûts par jeton déclarés pour le modèle de comparaison sur la période sélectionnée. Ils intègrent déjà son utilisation du cache ; aucune remise de cache supplémentaire ne s’applique donc. Si vous changez de modèle, les nombres de jetons et les accès au cache peuvent varier.Les réponses rejouées depuis le cache de réponses exactes conservent leurs nombres de jetons d’origine, mais sont facturées zéro, car aucune inférence n’a été exécutée chez le fournisseur.
