Analytics

​

Vues disponibles

• volume de requêtes dans le temps ;
• part du trafic par modèle cible du routage ;
• répartition par version de projet ;
• volume de jetons en entrée et en sortie ;
• erreurs des fournisseurs ;
• coût estimé en entrée, en sortie et total ;
• modèles de comparaison qui ne reçoivent actuellement aucun trafic.

​

Couverture de la tarification

1. un prix de modèle défini manuellement sur le fournisseur ou le modèle fine-tuné ;
2. la tarification W&B Inference du modèle de base d’un modèle fine-tuné ;
3. le catalogue LiteLLM intégré, si un modèle correspondant y figure.

​

Utiliser Analytics pendant le déploiement progressif

• le nouveau modèle reçoit la part de trafic prévue ;
• l’ancien modèle conserve le poids résiduel attendu ou un poids nul ;
• le taux d’erreur n’augmente pas ;
• le volume de jetons et le comportement de fin de génération restent cohérents ;
• le coût estimé évolue dans le sens attendu.

curl --url "https://distillation.training.wandb.ai/v1/tasks/ticket-classifier/analytics?time_range=30d" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Wandb-Entity: your-team"