Prérequis
Avant de commencer, assurez-vous de disposer des éléments suivants :- Un compte Forge. Si vous n’en avez pas, inscrivez-vous.
- Une clé API. Dans Forge, cliquez sur l’icône de votre profil, sélectionnez Settings, puis cliquez sur Create new API key. Copiez la clé dès qu’elle s’affiche, car vous ne pourrez plus la consulter par la suite. Les exemples de cette documentation la lisent dans la variable d’environnement
WANDB_API_KEY; le guide de démarrage rapide d’ART indique où ART s’attend à la trouver. - Un projet dans Weights & Biases pour enregistrer les métriques d’entraînement et stocker l’adaptateur entraîné. Voir Projects.
- Un jeu de données composé d’exemples d’entrées et de sorties qui illustrent le comportement que le modèle doit apprendre. La documentation Serverless SFT d’ART décrit le format attendu.
- Le framework ART, si vous l’utilisez au lieu d’appeler directement l’API. Suivez les étapes d’installation du guide de démarrage rapide d’ART.
Quand utiliser Serverless SFT
Serverless SFT est particulièrement adapté lorsque vous disposez d’exemples du comportement souhaité, ou que vous êtes en mesure d’en produire :- Distillation : transférez les connaissances d’un modèle plus grand et plus performant vers un modèle plus petit et plus rapide, en entraînant ce dernier sur les sorties du grand modèle.
- Apprentissage d’un style et d’un format de sortie : entraînez un modèle à respecter un format de réponse, un ton ou une structure spécifique.
- Préparation avant le RL : fournissez à un modèle des exemples supervisés avant de l’affiner avec Serverless RL.
Entraîner un modèle
- Framework ART
- API Serverless Training
ART encapsule l’API Serverless Training et gère pour vous les jeux de données, les runs d’entraînement et les points de contrôle. C’est la méthode recommandée pour commencer. Suivez la documentation ART Serverless SFT pour préparer votre jeu de données et lancer une tâche d’entraînement.