Aperçu

​

Ce qu’apporte Model Distillation

• Connectez votre application une seule fois : conservez l’interface Chat Completions que vous connaissez et passez d’un modèle à l’autre sans modifier la façon dont votre application envoie les requêtes ou lit les réponses.
• Apprenez à partir de l’utilisation réelle : collectez automatiquement les exemples que votre application produit déjà, afin d’améliorer un modèle à partir des comportements qui comptent pour vos clients.
• Constituez de meilleures données d’entraînement : choisissez les exemples à partir desquels un modèle doit apprendre, examinez-les, supprimez ceux de mauvaise qualité et améliorez leurs réponses si nécessaire.
• Entraînez des modèles adaptés à votre tâche : créez des modèles spécialisés capables d’égaler le comportement d’un modèle beaucoup plus grand, tout en réduisant les coûts et la latence.
• Comparez la qualité avant le déploiement : testez les modèles sur les mêmes exemples, identifiez où chacun réussit ou échoue, et prenez vos décisions de déploiement en vous appuyant sur des données concrètes.
• Déployez en toute sécurité : testez un nouveau modèle sur une partie de votre trafic, augmentez progressivement sa part et gardez le modèle précédent prêt à être restauré si nécessaire.

​

Un parcours client type

1. Connectez une fonctionnalité d’IA à Model Distillation.
2. Collectez des exemples issus de l’utilisation courante du produit.
3. Sélectionnez les exemples et les réponses qui méritent de servir à l’apprentissage.
4. Entraînez plusieurs modèles candidats.
5. Comparez-les au modèle que vous utilisez actuellement.
6. Déployez progressivement le meilleur modèle et surveillez les résultats.